Computergestützte Bildanalyse – Implementierung und Evaluation der automatisierten Klassifikation von “Bildtypen”

Im Rahmen meiner Doktorarbeit beschäftige ich mich mit der computergestützten Analyse von multimedialen Social Media Daten. Multimodal heißt in diesem Kontext, dass es sich um Bild- und Videodateien handelt, die eine visuelle und bis zu zwei textuelle Inhaltsebenen aufweisen (Bildtext + Audio). Beim vorliegenden Abschlussarbeitsthema wollen wir uns auf die visuelle Ebene konzentrieren. Das Bildkorpus stammt aus dem Bundestagswahlkampf 2021 (oder Landtagswahlkampf Bayern 2023) und umfasst Posts und Stories, die von politischen Akteuren im Wahlkampf auf Instagram gepostet wurden. Zur Analyse der politischen Kommunikation gibt es bereits diverse Arbeiten [1]. Im Rahmen der Abschlussarbeit wollen wir einen Analyseansatz, die Bildytpen, computergestützt umsetzen und im Vergleich zu menschlichen Annotationen evaluieren, wie gut die automatisierte Klassifikation funktioniert. Die Bachelorarbeit fokussiert sich dabei auf methodisch-praktische Umsetzung. Literatur zu Bildtypen, das Bildkorpus, und Tutorials zur Umsetzung werden durch den Betreuer bereitgestellt. Es existieren auch erste Experimente zur konkreten Umsetzung der Bildtypenklassifikation, die gerne geteilt werden.

Die computergestützte Bildanalyse ist im Bereich der Geistes- und Sozialwissenschaft ein sehr aktuelles Thema und wird unter den Ideen des “Distant Viewings” (Arnold & Tilton), bzw. “Images as Data” (Peng et al.) vorangetrieben. Die Bildtypenklassifikation im Rahmen der politischen Kommunikation stellt somit ein sehr aktuelles Projekt dar. Dabei wollen wir wissen, wie gut automatisierter Verfahren auf Basis von großen Sprachmodellen oder Machine Learning Ansätzen zur Beantwortung geistes- und sozialwissenschaftlicher Fragestellungen geeignet sind.

Für eine erfolgreiche Bachelorarbeit sollen 1-2 Ansätze zur computergestützten Klassifikation von Bildkorpora getest, miteinander verglichen, und im Vergleich zu menschlichen Annotation evaluiert werden. Konkret gibt es also zwei Ziele: 1) Die Identifikation des besten Ansatzes zur computergestützten Bildtypenanalyse und 2) die Evaluation des Modells im Verlgeich zum Menschen.

Abhängig vom gewählten Klassifikationsansatz können entweder mehrere Varianten des gleichen Ansatzes (z. B. verschiedene Prompts) miteinander verglichen werden, oder verschiedene Modelle (z. B. LLM vs. Machine Learning). Basierend auf Ihren eigenen Interessen wählen wir die Ansätze / Modelle im Rahmen der Sprechstunden gemeinsam aus.

Bei den Bildtypen handelt es sich um eine Kategorisierungsschema für die Social Media Posts, die wir aus der Literaratur ableiten. Die Bildtypenanalyse ist ein Ansatz der visuellen Inhaltsanalyse, in weiteren Ausschreibungen nutzen wir andere Schemata um andere Fragestellungen zu beantworten. Bildtypen versuchen die Inhalte der jeweiligen Posts zu erfassen, also z. B. ob es sich um eine Politische Veranstaltung, Medienarbeit, oder die politische Positionierung geht.

1. Selbstständige Einarbeitung in das Thema, unterstützt durch bereitgestellte Literatur zur Theorie (Bildtypen) und Praxis (Tutorials auf https://social-media-lab.net/). Auch der Datensatz wird bereitgestellt.
2. Erstellen einer Annotationsstudie um einen Ground Truth (Gold Standard) Datensatz zu erstellen: Erarbeitung der Annotationsanleitung und softwaregestützte Sammlung der Annotationsdaten über das VP-Stunden-System.
3. Kontrolle der Annotationsqualität und eventuelle Überarbeitung der Annotationsanleitung
4. Implementierung des Klassifikationsmodells / Erarbeitung einer passenden Prompt. Modell- / Prompt-Design und Annotationsstudie müssen aufeinander abgestimmt werden!
5. Kontrolle der Klassifikationsqualität und eventuelle Überarbeitung der Prompts / Modell.
6. Bericht und Interpretation der Annotations- und Klassifikationsqualität (=Results). Einordnung der Ergebnisse in die bestehende Literatur (=Discussion).

• Python-Kenntnisse von Vorteil.
• Erste Erfahrungen mit LLMs und Prompting von Vorteil.
• Umsetzung in Jupyter Notebooks mit Python und pandas.

• [1] Bast, J. (2021). Politicians, Parties, and Government Representatives on Instagram: A Review of Research Approaches, Usage Patterns, and Effects. Review of Communication Research, 9. https://www.rcommunicationr.org/index.php/rcr/article/view/108
• Chapter 11: Visual media analysis for Instagram and other online platforms in: Rogers, R. (2023). Doing Digital Methods. SAGE Publications, Limited.
• Peng, Y., & Lu, Y. (2023). Computational visual analysis in political communication. In D. Lilleker & A. Veneti (Eds.), Research Handbook on Visual Politics (pp. 42–54). Edward Elgar Publishing.
• Arnold, T., & Tilton, L. (2023). Distant Viewing: Computational Exploration of Digital Images. MIT Press.
• Peng, Y., Lock, I., & Ali Salah, A. (2023). Automated Visual Analysis for the Study of Social Media Effects: Opportunities, Approaches, and Challenges. Communication Methods and Measures, 1–23. https://doi.org/10.1080/19312458.2023.2277956

Zu Bildtypen

• Achmann, M., & Wolff, C. (2023). Computergestützte Bildtypenanalyse durch Zero-Shot Klassifikation mit CLIP. Gesellschaft für Informatik e.V. https://dl.gi.de/handle/20.500.12116/43217
• Liebhart, K., & Bernhardt, P. (2017). Political storytelling on Instagram: Key aspects of Alexander Van der Bellen’s successful 2016 presidential election campaign. Media and Communication, 5(4), 15–25. https://doi.org/10.17645/mac.v5i4.1062
• Haßler, J., Kümpel, A. S., & Keller, J. (2021). Instagram and political campaigning in the 2017 German federal election. A quantitative content analysis of German top politicians’ and parliamentary parties’ posts. Information, Communication and Society, 1–21. https://doi.org/10.1080/1369118X.2021.1954974
• Grittmann, E., & Ammann, I. (2009). Die Methode der quantitativen Bildtypenanalyse. Zur Routinisierung der Bildberichterstattung am Beispiel von 9/11 in der journalistischen Erinnerungskultur. In T. Petersen & C. Schwender (Eds.), Visuelle Stereotype (pp. 141–158). Herbert von Halem.
• Grittmann, E., & Ammann, I. (2011). Quantitative Bildtypenanlyse. In T. Petersen & C. Schwender (Eds.), Die Entschlüsselung der Bilder: Methoden zur Erforschung visueller Kommunikation : ein Handbuch (pp. 163–178). von Halem.