Aspektbasierte Sentimentanalyse von Bookstagram-Posts
https://zenodo.org/records/14943004
Einleitung
Der Buchmarkt befindet sich in einem Wandel, der unter anderem durch die zunehmende Präsenz von Büchern auf Online-Plattformen geprägt ist. Sogenannte “Buchblogger” verbreiten auf Social Media Inhalte über Bücher (Giacomuzzi 2021) und werden dabei nicht selten von Verlagen durch besondere Aktionen oder kostenlose Exemplare, sogenannte Rezensionsexemplare, unterstützt. Aufkleber wie “#TikTokMadeMeBuyIt” auf Büchern in Buchgeschäften (Sahner 2023) und Bestseller-Listen auf TikTok, verdeutlichen die wachsende Rolle sozialer Medien bei Kaufentscheidungen: Laut Angaben des Plattformbetreibers wurden 2023 in Deutschland über 12 Millionen '#BookTok'-Bücher verkauft (TikTok Technology Limited 2024). Auch auf Instagram hat sich eine aktive Buch-Community etabliert, die durch ihre Reichweite und Interaktionen zum Erfolg von Büchern beiträgt.
Forschungsfragen
Diese Arbeit befasst sich mit der aspektbasierten Stimmungsanalyse von Buchrezensionen auf Instagram. Dabei wurden folgende Forschungsfragen untersucht:
- Ist GPT für die aspektbasierte Stimmungsanalyse geeignet?
- Wie ist die Verteilung von Stimmungen für die betrachteten Aspekte?
- Unterscheiden sich die Sentiments bei Rezensionsexemplaren und Nicht-Rezensionsexemplaren?
- Wirkt sich die Art (Album vs. Foto) des Posts auf das Sentiment aus?
- Wirkt sich das Sentiment eines Buchrezensions-Posts auf die Performance aus?
Die Ergebnisse dieser Analyse ergaben neue Einblicke in die Möglichkeiten der aspektbasierten Stimmungsanalyse und lieferten Aufschlüsse über die Buch-Community auf Instagram, das sogenannte Bookstagram.
Material
Untersuchungsgegenstand dieser Arbeit waren 3745 deutschsprachige Buchrezensionen der Bookstagram-Community (siehe Abbildung 1 für ein Beispiel). Diese wurden von 144 Accounts mit unterschiedlichen Reichweiten über die Suche nach Hashtags mithilfe des Analysetools CrowdTangle gesammelt. Alle Posts enthielten dabei das Wort “Rezension” oder die Kurzform “Rezi(e)” sowie mindestens einen der folgenden Hashtags: #bookstagramgermany, #bookstagramdeutschland, #buchrezension, #buch, #bookstagram, #bücherliebe, #leseliebe, #buchblogger, #buchcommunity.
Methode
Die aspektbasierte Stimmungsanalyse liefert ein detaillierteres Verständnis der Stimmung, indem sie den Text in verschiedene Aspekte zerlegt und deren Stimmungen einzeln analysiert (Kim and Song 2022). Die betrachteten Aspekte dieser Arbeit wurden anhand vorheriger Forschungsarbeiten (Zhang et al. 2019, Stollfuß 2023) unter Einbeziehung weiterführender Überlegungen festgelegt. Zhang et al. zeigten, dass auf sozialen Medien inhaltsbezogene Aspekte öfter vorkommen als externe Faktoren (2019). Die externen Faktoren (z.B. Cover, Schriftart, Illustrationen) wurden daher zu einem Aspekt zusammengefasst, während inhaltliche Aspekte weiter aufgeteilt wurden.
Für unsere Analyse ergaben sich folgende Aspekte: Autor, Schreibstil, externe Faktoren, Charaktere, Logik und Handlung/Spannung. Darüber hinaus wurde das allgemeine Sentiment jeder Rezension bestimmt. Das Sentiment wurde als „Positiv“, „Neutral“, „Negativ“ oder „Nicht vorhanden“ bewertet.
Nach der iterativen Entwicklung eines Prompts wurde die aspektbasierte Stimmungsanalyse mit den GPT-Modellen “gpt-3.5-turbo-0613” und “gpt-4-1106-preview” durchgeführt und verglichen. Die Reliabilität der Ergebnisse wurde durch die Bewertung von 250 zufällig ausgewählten Beiträge des Datensatzes von sechs menschlichen Annotatoren sichergestellt.
Ergebnisse
Ist GPT für die aspektbasierte Stimmungsanalyse geeignet?
Die Ergebnisse lassen auf die Verlässlichkeit des methodischen Vorgehens für künftige Arbeiten schließen. Für sechs von sieben Aspekten ergaben sich mit GPT-3.5 gewichtete F1-Scores zwischen 77% und 94% und mit GPT-4 zwischen 79% und 100%. Die davon abweichenden gewichteten F1-Scores bei dem Aspekt Logik (61% bzw. 69%) führen wir auf Uneinigkeiten bei den menschlichen Annotatoren zurück.
Der Vergleich der GPT-Modelle ergab, dass die Erkennung von Rezensionsexemplaren mit GPT-3.5 (F1-Score = 0,965) zuverlässiger war, als mit GPT-4 (F1-Score = 0,905). Diese Erkennung war zentral für die Beantwortung unserer Forschungsfragen. Außerdem waren die von GPT-4 zurückgegebenen Daten teilweise unvollständig oder nicht richtig formatiert. Für die Untersuchung der weiteren Fragestellungen wurde deshalb das GPT-3.5 Modell gewählt.
Wie ist die Verteilung von Stimmungen für die betrachteten Aspekte?
Bei der Betrachtung der Verteilung der Sentiments fällt auf, dass für jeden Aspekt, außer für Logik, das positive Sentiment überwiegt. Der Aspekt Handlung/Spannung wird am häufigsten, externe Faktoren kaum negativ bewertet. Externe Faktoren und Logik werden weniger erwähnt als die anderen Aspekte.
Gibt es Unterschiede, wenn das Buch ein Rezensionsexemplar war?
Für die Kategorie externe Faktoren konnte mittels eines Exakten Tests nach Fischer festgestellt werden, dass Rezensionsexemplare positiver bewertet wurden (p = .018). Der Aspekt externe Faktoren wurde bei Rezensionsexemplaren öfter genannt.
Wirkt sich die Art (Album vs. Foto) des Posts auf das Sentiment aus?
Es wurde untersucht, ob es Unterschiede zwischen Foto-Posts (nur ein Bild) und Album-Posts (mehrere Bilder) bezüglich der Verteilung des Sentiments gibt. Dabei konnten in der Kategorie Logik ( X 2 (2, N = 444) = 8.527, p = .014, V = 0.14) und Handlung/Spannung ( X 2 (2, N = 766) = 6.619, p = .037, V = 0.09) signifikante Unterschiede bei der Verteilung des Sentiments festgestellt werden, wenn auch mit geringer Stärke des Zusammenhangs. Für den Aspekt externe Faktoren lieferte ein Exakter Test nach Fischer ebenfalls ein signifikantes Ergebnis (p = .022).
Wirkt sich das Sentiment eines Buchrezensions-Posts auf die Performance aus?
Anhand des von CrowdTangle bestimmten Overperforming Scores konnte mittels Spearman’s Korrelationskoeffizienten gezeigt werden, dass Beiträge umso besser performten, je negativer das allgemeine Sentiment war ( 𝜌 = -.048, p = .002).
Fazit
Die analysierten Bookstagram-Beiträge zeigen überwiegend positives Sentiment. Eine ähnliche Verteilung konnte bereits bei Posts über das Lesen auf Instagram (Zhan et al., 2018) und bei den Plattformen Goodreads und Amazon nachgewiesen werden (Dimitrov et al., 2015). Weiter konnten wir einen negativen Zusammenhang zwischen den betrachteten Sentiments und der Performance des Beitrags feststellen. Diese Ergebnisse stimmen mit den Erkenntnissen von Hsu et al. (2019) überein. Unsere Studienergebnisse legen nahe, dass die Veröffentlichung von Rezensionen auf Instagram, unterstützt durch das überwiegend positive Sentiment, potenziell förderlich für den Buchmarkt sein könnte. Sie geben einen Einblick in den Literaturdiskurs auf sozialen Plattformen und vertiefen das Verständnis für den Einfluss auf die Bookstagram-Community.
Unsere Arbeit ist durch die begrenzten Erhebungsmöglichkeiten limitiert. Zukünftige Arbeiten könnten andere Plattformen, Buchgenres oder nicht-textuelle Bestandteile von Bookstagram-Beiträgen berücksichtigen.
Bibliographie
- Dimitrov, Stefan, Faiyaz Al Zamal, Andrew Piper und Ruths, D. 2015. "Goodreads versus Amazon: the effect of decoupling book reviewing and book selling". In Proceedings of the international AI conference on web and social media 9: 602–605.
- Giacomuzzi, Renate. 2021. "Die verkehrte Welt der Literaturblogs. Zur Position freier Literatur-und Leserblogs im Feld der Literaturkritik." Moser, Doris/Dürr, Claudia (Hg.): Über Bücher reden. Literaturrezeption in Lesegemeinschaften, Göttingen: V&R unipress: 183-198.
- Hsu, Ping-Yu, Hong-Tsuen Lei, Shih-Hsiang Huang, Teng Hao Liao, Yao-Chung Lo und Chin-Chun Lo. 2019. "Effects of sentiment on recommendations in social network." Electronic Markets, 29, 253-262.
- Kim, Yuyoung, und Min Song. 2016. "A study on analyzing sentiments on movie reviews by multi-level sentiment classifier." Journal of intelligence and information systems 22.3: 71-89 .
- Sahner, Simon. 2023. "Wie wir lesen (sollen) – Amazon, TikTok und die Literatur" 54book. https://54books.de/wir-wir-lesen-sollen-amazon-tiktok-und-die-literatur/ (zugegriffen: 27. November 2024).
- Stollfuß, Sven. 2023. "How to talk about books on social media: The German-language social media reviewer sphere on Instagram." SAGE Open 13(3) .
- TikTok Technology Limited. 2024. "Nach über 12 Millionen verkauften #BookTok Büchern in 2023: TikTok und Media Control erweitern ihr Portfolio um neue Bestsellerlisten & Sticker" https://newsroom.tiktok.com/de-de/tiktok-und-media-control-neue-bestsellerlisten-und-sticker (zugegriffen: 27. November 2024).
- Zhan, Ming, Ruibo Tu, und Qin Yu. 2018. "Understanding readers: Conducting sentiment analysis of Instagram captions." Proceedings of the 2018 2nd International Conference on Computer Science and Artificial Intelligence: 33-40.
- Zhang, Chengzhi, Tiantian Tong, und Yi Bu. 2019. "Examining differences among book reviews from various online platforms." Online Information Review 43.7: 1169-1187.