Computergestützte Filmanalyse mithilfe von Gesichtserkennungsverfahren

Hintergrund

Wirft man einen Blick in die gängigen Lehrbücher zur Filmanalyse (z.B. Korte, 1999), so wird deutlich, dass für den Untersuchungsgegenstand Film ein breites Methodenspektrum sowohl weicher, qualitative Ansätze als auch harter, quantitative Methoden zur Verfügung steht. Quantitative Ansätze in der Filmanalyse, die bis 1912 zurückgehen, werden bspw. in einem Vortrag der ersten Cinemetrics-Konferenz (2014, Chicago) beschrieben (Video online verfügbar unter https://www.youtube.com/watch?v=6ZXj67bygEc). Aktuellere Ansätze zur quantitativen Filmanalyse finden sich auch auf Cinemetrics.lv (http://www.cinemetrics.lv/articles.php) sowie in Salt (2006). Dabei fällt auf, dass Szenen (Anzahl und Länge) der wesentliche Parameter solcher empirischen Ansätze sind, aber andere Faktoren nicht weiter berücksichtigt werden.

Geht man davon aus, dass Filme in vielerlei Hinsicht Ähnlichkeiten zu dramatischen Texten aufweisen, vor allem hinsichtlich Struktur (Akte und Szenen) und Figureninventar, so scheint es gewinnbringend bestehende Ansätze aus der quantitativen Dramenanalyse (vgl. Pfister, 2001) auf die Filmanalyse zu übertragen.

Um analog zum Drama Parameter wie Figurenrelation und Konfigurationsdichte berechnen zu können sind einerseits Strukturinformationen (Akte / Szenen) und andererseits Informationen über die jeweils agierenden Figuren notwendig. Für die Segmentierung von Filmen oder Serien ist eine Erkennung der einzelnen Einstellungen notwendig, welche dann zu übergeordneten Szenen zusammengefasst werden müssen; hier kann auch auf die Informationen aus der Cinemetrics-DB zurückgegriffen werden. Weiter soll durch den Einsatz von Verfahren zur automatischen Gesichtserkennung auf die agierenden Filmfiguren geschlossen werden.

Zielsetzung der Arbeit

Neben der Aufarbeitung des Stands der Kunst zu automatischer Filmanalyse ist das Hauptziel der Arbeit zu untersuchen, inwiefern sich Verfahren der Gesichtserkennung für die automatische Identifikation von Figuren in Filmen eigenen. Dazu gehört u.a. die Evaluation aktueller Algorithmen der Mustererkennung sowie verschiedener Machine Learning-Verfahren und die Generierung geeigneter Trainingsdaten. Zudem sind existierende Methoden zur Schnitterkennung zu evaluieren und eventuell geeignete Ansätze so zu kombinieren, um eine Erschließung von Szenen-Informationen aus den vorliegenden Videomaterial zu ermöglichen.

Konkrete Aufgaben

Theorieteil

Aufarbeitung Quantitative Filmanalyse

Systematisches Aufzeigen von Parallelen der Quantitativen Dramen- und Filmanalyse

Related work: Tools und Verfahren der Gesichtserkennung, insbes. in Filmen

Praxisteil

Evaluation und Implementierung von Face Recognition-Verfahren für die Gesichtserkennung in Filmen und Serien

Extraktion der Strukturinformation aus Videos

Ggf. Verbessserung und Verknüpfung bestehender Ansätze

Zusammenführen der Szenen- und Figureninformation in einem integrierten Interface und Berechnung grundlegender quant. Parameter analog zur quant. Dramenanalyse (Konfigurationsdichte, etc.)

Ggf. auch Berücksichtigung gesprochener Sprache in Filmen durch Integration von Informationen aus Untertiteln, welche über opensubtitles.org verfügbar sind

Erwartete Vorkenntnisse

Parsing von Webseiten bzw. Extraktion strukturierter Daten aus einer Datenbank

Grundlagen Machine Learning

Grundlagen Face Recognition Tools

Weiterführende Quellen

Korte, H. (1999). Einführung in die Systematische Filmanalyse. Berlin: Erich Schmid Verlag.

Salt, B. (2006). Moving into Pictures. Starwood.

Pfister, M. (2001). Das Drama. München: Wilhelm Fink Verlag.

Monaco, J. (). How to Read a Film. Movie, Media and Beyond.