Computergestützte Bildanalyse – Implementierung und Evaluation der automatisierten Klassifikation von “Visual Frames” (BTW’21)

Im Rahmen meiner Doktorarbeit beschäftige ich mich mit der computergestützten Analyse von multimedialen Social Media Daten. Multimodal heißt in diesem Kontext, dass es sich um Bild- und Videodateien handelt, die eine visuelle und bis zu zwei textuelle Inhaltsebenen aufweisen (Bildtext + Audio). Beim vorliegenden Abschlussarbeitsthema wollen wir uns auf die visuelle Ebene konzentrieren. Das Bildkorpus stammt aus dem Bundestagswahlkampf 2021 und umfasst Posts und Stories, die von politischen Akteuren im Wahlkampf auf Instagram gepostet wurden. Zur Analyse der politischen Kommunikation gibt es bereits diverse Arbeiten [1]. Im Rahmen der Abschlussarbeit wollen wir einen Analyseansatz, die Bildytpen, computergestützt umsetzen und im Vergleich zu menschlichen Annotationen evaluieren, wie gut die automatisierte Klassifikation funktioniert. Die Bachelorarbeit fokussiert sich dabei auf methodisch-praktische Umsetzung. Literatur zu Visual Frames, das Bildkorpus, und Tutorials zur Umsetzung werden durch den Betreuer bereitgestellt. Es existieren auch erste Experimente zur konkreten Umsetzung der Klassifikation von Visual Frames, die gerne geteilt werden.

Die computergestütze Bildanalyse ist im Bereich der Geistes- und Sozialwissenschaft ein sehr aktuelles Thema und wird unter den Ideen des “Distant Viewings” (Arnold & Tilton), bzw. “Images as Data” (Peng et al.) vorangetrieben. Die computergestützte Klassifikation von Visual Frames im Rahmen der politischen Kommunikation stellt somit ein sehr aktuelles Projekt dar. Dabei wollen wir wissen, wie gut automatisierter Verfahren auf Basis von großen Sprachmodellen oder Machine Learning Ansätzen zur Beantwortung geistes- und sozialwissenschaftlicher Fragestellungen geeignet sind.

Für eine erfolgreiche Bachelorarbeit sollen 1-2 Ansätze zur computergestützten Klassifikation von Bildkorpora getest, miteinander verglichen, und im Vergleich zu menschlichen Annotation evaluiert werden. Konkret gibt es also zwei Ziele: 1) Die Identifikation des besten Ansatzes zur computergestützten Bildklassifikation und 2) die Evaluation des Modells im Vergleich zum Menschen.

Abhängig vom gewählten Klassifikationsansatz können entweder mehrere Varianten des gleichen Ansatzes (z. B. verschiedene Prompts) miteinander verglichen werden, oder verschiedene Modelle (z. B. LLM vs. Machine Learning). Basierend auf Ihren eigenen Interessen wählen wir die Ansätze / Modelle im Rahmen der Sprechstunden gemeinsam aus.

Bei den Visual Frames handelt es sich um ein Kategorisierungsschema für die Social Media Posts, die wir aus der Literatur übernehmen [2]. Politiker:innen werden hierfür in zwei Kategorien eingeteilt, “The Ideal Candidate” oder “The Populist Campaigner”. Dafür werden einzelne Merkmale (z. B. Kleidungsstil, abgebildete Personen, Symbole im Bild,… ) in Bildern mit Kandidierenden klassifiziert und aus den Klassifikationsergebnissen der genutzte Frame abgeleitet. Die Analyse von Visual Frames ist eine Art der visuellen Inhaltsanalyse, in weiteren Ausschreibungen nutzen wir andere Schemata, um andere Fragestellungen zu beantworten.

1. Selbstständige Einarbeitung in das Thema, unterstützt durch bereitgestellte Literatur zur Theorie (Visual Frames) und Praxis (Tutorials auf https://social-media-lab.net/). Auch der Datensatz wird bereitgestellt, inklusive bestehender Annotationen von Personen.
2. Erstellen einer Annotationsstudie um einen Ground Truth (Gold Standard) Datensatz zu erstellen: Erarbeitung der Annotationsanleitung und softwaregestützte Sammlung der Annotationsdaten über das VP-Stunden-System.
3. Kontrolle der Annotationsqualität und eventuelle Überarbeitung der Annotationsanleitung
4. Implementierung des Klassifikationsmodells / Erarbeitung einer passenden Prompt. Modell- / Prompt-Design und Annotationsstudie müssen aufeinander abgestimmt werden!
5. Kontrolle der Klassifikationsqualität und eventuelle Überarbeitung der Prompts / Modell.
6. Bericht und Interpretation der Annotations- und Klassifikationsqualität (=Results). Einordnung der Ergebnisse in die bestehende Literatur (=Discussion).

• Python-Kenntnisse von Vorteil.
• Erste Erfahrungen mit LLMs und Prompting von Vorteil.
• Umsetzung in Jupyter Notebooks mit Python und pandas.

• [1] Bast, J. (2021). Politicians, Parties, and Government Representatives on Instagram: A Review of Research Approaches, Usage Patterns, and Effects. Review of Communication Research, 9. https://www.rcommunicationr.org/index.php/rcr/article/view/108
• Chapter 11: Visual media analysis for Instagram and other online platforms in: Rogers, R. (2023). Doing Digital Methods. SAGE Publications, Limited.
• Peng, Y., & Lu, Y. (2023). Computational visual analysis in political communication. In D. Lilleker & A. Veneti (Eds.), Research Handbook on Visual Politics (pp. 42–54). Edward Elgar Publishing.
• Arnold, T., & Tilton, L. (2023). Distant Viewing: Computational Exploration of Digital Images. MIT Press.
• Peng, Y., Lock, I., & Ali Salah, A. (2023). Automated Visual Analysis for the Study of Social Media Effects: Opportunities, Approaches, and Challenges. Communication Methods and Measures, 1–23. https://doi.org/10.1080/19312458.2023.2277956

Zu Visual Frames

• [2] Grabe, M. E., & Bucy, E. P. (2009). Image Bite Politics: News and the Visual Framing of Elections. Oxford University Press, USA.
• Gordillo-Rodríguez, M.-T., & Bellido-Pérez, E. (2023). The visual frame of the political candidate on Instagram: the 2021 Catalan regional elections. Dígitos. Revista de Comunicación Digital, 0(9). https://doi.org/10.7203/drdcd.v0i9.260