arbeiten:machbarkeitsstudie_zur_erkennung_des_blickpunkts_in_einer_frei_konfigurierbaren_kueche

Eyetracking mit mehreren Kameras in Smart Kitchens

Thema:
Eyetracking mit mehreren Kameras in Smart Kitchens
Art:
MA
BetreuerIn:
Bernd Ludwig
BearbeiterIn:
Markus Guder
ErstgutachterIn:
Bernd Ludwig
ZweitgutachterIn:
N.N.
Status:
abgeschlossen
Stichworte:
Eye-Tracking
angelegt:
2019-04-11
Antrittsvortrag:
2019-05-13
Abschlussvortrag:
2019-07-22
Textlizenz:
Unbekannt
Codelizenz:
Unbekannt

Hintergrund

Bei interaktiven Systemen ist es wichtig, den natürlichsten Weg der Kommunikation für den Nutzer zu finden [1]. Wie kann dieser mit einem Computer gesteuerten Assistenzsystem beispielsweise möglichst leicht Kontakt aufnehmen. Aktuelle Dialogsysteme setzen hierbei oft das initiale Drücken eines Buttons oder das Aussprechen eines Triggers-Worts („Alexa“ – Amazon Echo) voraus. Dies hat diverse Nachteile, zum Beispiel hinsichtlich der Erkennungs-Stabilität. Sprich Wörter werden von Spracherkennern falsch oder gar nicht erkannt, bzw dem falschen Kontext zugeordnet. [2, 3]

Diverse Studien haben bisher gezeigt, dass dem Blickverhalten eine immense Bedeutung im Kommunikationsprozess zukommt. Durch das Anblicken eines Objekts wird der Kontakt zwischen System und Nutzer hergestellt und daraus resultierend der Kontext erkannt, auf dem die Aufmerksamkeit des Nutzers gerade liegt. [4, 5]

Diese Blickerkennung ist aktuell mit unterschiedlichen Eyetracking Systemen prinzipiell möglich, aber in einem Smart Environment [6], ein Raum in dem intelligente und verknüpfte Geräte dem Bewohner das Leben einfacher machen sollen, nicht praktikabel einzusetzen. Das hier vorliegende Smart Environment ist eine Küche, in der das permanente Tragen eines mobilen Eye Trackers, beispielsweise während des Kochens, auf nur wenig Akzeptanz aufgrund des mangelnden Tragekomforts stößt [7]. Stationäre Eyetracker haben hingegen den Vorteil, dass diese den Nutzer nicht in seiner Tätigkeit beeinflussen würden. Bringen aber den Nachteil mit, dass ein flexibles Erkennen, wie dies die Arbeitsabläufe einer Küche voraussetzen, nicht geleistet werden kann. [8]

Zielsetzung der Arbeit

Mithilfe der open source Blickerkennungssoftware Openface [9] soll ein Assistenzsystem implementiert und evaluiert werden, das über die Blickrichtung des Nutzers festellen kann, auf welchem Objekt in der Küche gerade dessen Aufmerksamkeit liegt.

Hierbei soll im ersten Schritt die Zuverlässigkeit der Software Openface, mit Hilfe eines stationären Eye Trackers, hinsichtlich der Genauigkeit bzw. Geschwindigkeit der Erkennung, validiert werden.

Im weiteren Vorgehen ist die Planung und der Aufbau einer Hardware basierten Infrastruktur zu leisten. Die sowohl dem Anspruch der freien Konfigurierbarkeit der Küche, als auch der Echtzeit-Visualisierung der Daten gerecht werden muss.

Zudem soll ein User Interface erstellt werden, das die gerade erfassten Blicke live visualisiert und anzeigt was in der Küche der Nutzer gerade anblickt.

Abschließend soll das System hinsichtlich folgender Fragestellungen evaluiert werden:

  • FS1: Wie zuverlässig werden die Blicke der Nutzer vom System in einem realen Küchen Szenario erkannt?
  • FS2: Welche Limitierungen gibt es hinsichtlich der Blickerkennung?

Konkrete Aufgaben

  • Evaluierung von Openface mit Eye Tracking System, um zu beweisen, ob und in welchem Grad Openface genaue Daten liefert
  • Planung und Implementierung eines Assistenzsystems das auf Basis der Blicke des Nutzers, dessen Intention erkennt
    • Aufbau und Test einer Hardware Infrastruktur bestehend aus mehreren Kameras und Raspberry PIs
    • Implementierung eines 3D-UIs zur Visualisierung
    • Implementierung einer Datenverarbeitungs-Pipeline zur Verarbeitung und Echtzeit-Auswertung der Blickdaten
  • Evaluierung des finalen Systems mit Hinblick auf die zuvor aufgestellten Fragestellungen

Erwartete Vorkenntnisse

  • Erfahrung Computer Vision
  • Verknüpfung unterschiedlicher Hardware Komponenten
  • Prozessierung und Visualisierung von Echtzeitdaten
  • entsprechende Mathematik

Weiterführende Quellen