arbeiten:movie_face_recognition

Computergestützte Filmanalyse mithilfe von Gesichtserkennungsverfahren

Thema:
Computergestützte Filmanalyse mithilfe von Gesichtserkennungsverfahren: Methodische Konzeption und Erstellung einer prototypischen Analyseplattform
Art:
MA
BetreuerIn:
Manuel Burghardt
BearbeiterIn:
Constantin Lehenmeier
ErstgutachterIn:
Christian Wolff
ZweitgutachterIn:
N.N.
Status:
abgeschlossen
Stichworte:
Digital Humanities, Filmanalyse, Machine Learning, Face Recognition, Video Segmentation
angelegt:
2015-06-18
Antrittsvortrag:
2015-10-28
Abschlussvortrag:
2016-03-14
Textlizenz:
Unbekannt
Codelizenz:
Unbekannt

Hintergrund

Wirft man einen Blick in die gängigen Lehrbücher zur Filmanalyse (z.B. Korte, 1999), so wird deutlich, dass für den Untersuchungsgegenstand Film ein breites Methodenspektrum sowohl weicher, qualitative Ansätze als auch harter, quantitative Methoden zur Verfügung steht. Quantitative Ansätze in der Filmanalyse, die bis 1912 zurückgehen, werden bspw. in einem Vortrag der ersten Cinemetrics-Konferenz (2014, Chicago) beschrieben (Video online verfügbar unter https://www.youtube.com/watch?v=6ZXj67bygEc). Aktuellere Ansätze zur quantitativen Filmanalyse finden sich auch auf Cinemetrics.lv (http://www.cinemetrics.lv/articles.php) sowie in Salt (2006). Dabei fällt auf, dass Szenen (Anzahl und Länge) der wesentliche Parameter solcher empirischen Ansätze sind, aber andere Faktoren nicht weiter berücksichtigt werden.

Geht man davon aus, dass Filme in vielerlei Hinsicht Ähnlichkeiten zu dramatischen Texten aufweisen, vor allem hinsichtlich Struktur (Akte und Szenen) und Figureninventar, so scheint es gewinnbringend bestehende Ansätze aus der quantitativen Dramenanalyse (vgl. Pfister, 2001) auf die Filmanalyse zu übertragen.

Um analog zum Drama Parameter wie Figurenrelation und Konfigurationsdichte berechnen zu können sind einerseits Strukturinformationen (Akte / Szenen) und andererseits Informationen über die jeweils agierenden Figuren notwendig. Für die Segmentierung von Filmen oder Serien ist eine Erkennung der einzelnen Einstellungen notwendig, welche dann zu übergeordneten Szenen zusammengefasst werden müssen; hier kann auch auf die Informationen aus der Cinemetrics-DB zurückgegriffen werden. Weiter soll durch den Einsatz von Verfahren zur automatischen Gesichtserkennung auf die agierenden Filmfiguren geschlossen werden.

Zielsetzung der Arbeit

Neben der Aufarbeitung des Stands der Kunst zu automatischer Filmanalyse ist das Hauptziel der Arbeit zu untersuchen, inwiefern sich Verfahren der Gesichtserkennung für die automatische Identifikation von Figuren in Filmen eigenen. Dazu gehört u.a. die Evaluation aktueller Algorithmen der Mustererkennung sowie verschiedener Machine Learning-Verfahren und die Generierung geeigneter Trainingsdaten. Zudem sind existierende Methoden zur Schnitterkennung zu evaluieren und eventuell geeignete Ansätze so zu kombinieren, um eine Erschließung von Szenen-Informationen aus den vorliegenden Videomaterial zu ermöglichen.

Konkrete Aufgaben

Theorieteil

  • Aufarbeitung Quantitative Filmanalyse
  • Systematisches Aufzeigen von Parallelen der Quantitativen Dramen- und Filmanalyse
  • Related work: Tools und Verfahren der Gesichtserkennung, insbes. in Filmen

Praxisteil

  • Evaluation und Implementierung von Face Recognition-Verfahren für die Gesichtserkennung in Filmen und Serien
  • Extraktion der Strukturinformation aus Videos
  • Ggf. Verbessserung und Verknüpfung bestehender Ansätze
  • Zusammenführen der Szenen- und Figureninformation in einem integrierten Interface und Berechnung grundlegender quant. Parameter analog zur quant. Dramenanalyse (Konfigurationsdichte, etc.)
  • Ggf. auch Berücksichtigung gesprochener Sprache in Filmen durch Integration von Informationen aus Untertiteln, welche über opensubtitles.org verfügbar sind

Erwartete Vorkenntnisse

  • Parsing von Webseiten bzw. Extraktion strukturierter Daten aus einer Datenbank
  • Grundlagen Machine Learning
  • Grundlagen Face Recognition Tools

Weiterführende Quellen

Korte, H. (1999). Einführung in die Systematische Filmanalyse. Berlin: Erich Schmid Verlag.

Salt, B. (2006). Moving into Pictures. Starwood.

Pfister, M. (2001). Das Drama. München: Wilhelm Fink Verlag.

Monaco, J. (). How to Read a Film. Movie, Media and Beyond.