Eyetracking mit mehreren Kameras in Smart Kitchens

Hintergrund

Bei interaktiven Systemen ist es wichtig, den natürlichsten Weg der Kommunikation für den Nutzer zu finden [1]. Wie kann dieser mit einem Computer gesteuerten Assistenzsystem beispielsweise möglichst leicht Kontakt aufnehmen. Aktuelle Dialogsysteme setzen hierbei oft das initiale Drücken eines Buttons oder das Aussprechen eines Triggers-Worts („Alexa“ – Amazon Echo) voraus. Dies hat diverse Nachteile, zum Beispiel hinsichtlich der Erkennungs-Stabilität. Sprich Wörter werden von Spracherkennern falsch oder gar nicht erkannt, bzw dem falschen Kontext zugeordnet. [2, 3]

Diverse Studien haben bisher gezeigt, dass dem Blickverhalten eine immense Bedeutung im Kommunikationsprozess zukommt. Durch das Anblicken eines Objekts wird der Kontakt zwischen System und Nutzer hergestellt und daraus resultierend der Kontext erkannt, auf dem die Aufmerksamkeit des Nutzers gerade liegt. [4, 5]

Diese Blickerkennung ist aktuell mit unterschiedlichen Eyetracking Systemen prinzipiell möglich, aber in einem Smart Environment [6], ein Raum in dem intelligente und verknüpfte Geräte dem Bewohner das Leben einfacher machen sollen, nicht praktikabel einzusetzen. Das hier vorliegende Smart Environment ist eine Küche, in der das permanente Tragen eines mobilen Eye Trackers, beispielsweise während des Kochens, auf nur wenig Akzeptanz aufgrund des mangelnden Tragekomforts stößt [7]. Stationäre Eyetracker haben hingegen den Vorteil, dass diese den Nutzer nicht in seiner Tätigkeit beeinflussen würden. Bringen aber den Nachteil mit, dass ein flexibles Erkennen, wie dies die Arbeitsabläufe einer Küche voraussetzen, nicht geleistet werden kann. [8]

Zielsetzung der Arbeit

Mithilfe der open source Blickerkennungssoftware Openface [9] soll ein Assistenzsystem implementiert und evaluiert werden, das über die Blickrichtung des Nutzers festellen kann, auf welchem Objekt in der Küche gerade dessen Aufmerksamkeit liegt.

Hierbei soll im ersten Schritt die Zuverlässigkeit der Software Openface, mit Hilfe eines stationären Eye Trackers, hinsichtlich der Genauigkeit bzw. Geschwindigkeit der Erkennung, validiert werden.

Im weiteren Vorgehen ist die Planung und der Aufbau einer Hardware basierten Infrastruktur zu leisten. Die sowohl dem Anspruch der freien Konfigurierbarkeit der Küche, als auch der Echtzeit-Visualisierung der Daten gerecht werden muss.

Zudem soll ein User Interface erstellt werden, das die gerade erfassten Blicke live visualisiert und anzeigt was in der Küche der Nutzer gerade anblickt.

Abschließend soll das System hinsichtlich folgender Fragestellungen evaluiert werden:

FS1: Wie zuverlässig werden die Blicke der Nutzer vom System in einem realen Küchen Szenario erkannt?

FS2: Welche Limitierungen gibt es hinsichtlich der Blickerkennung?

Konkrete Aufgaben

Evaluierung von Openface mit Eye Tracking System, um zu beweisen, ob und in welchem Grad Openface genaue Daten liefert

Planung und Implementierung eines Assistenzsystems das auf Basis der Blicke des Nutzers, dessen Intention erkennt

Aufbau und Test einer Hardware Infrastruktur bestehend aus mehreren Kameras und Raspberry PIs

Implementierung eines 3D-UIs zur Visualisierung

Implementierung einer Datenverarbeitungs-Pipeline zur Verarbeitung und Echtzeit-Auswertung der Blickdaten

Evaluierung des finalen Systems mit Hinblick auf die zuvor aufgestellten Fragestellungen

Erwartete Vorkenntnisse

Erfahrung Computer Vision

Verknüpfung unterschiedlicher Hardware Komponenten

Prozessierung und Visualisierung von Echtzeitdaten

entsprechende Mathematik

Weiterführende Quellen

Alessandro Valli, PhD, (2006, Oktober). The Design of Natural Interaction. Abgerufen 11. April, 2019, von https://bit.ly/2UAEAyQ

Markus Berg, (2012, September). Natürlichsprachlichkeit in Dialogsystemen. Abgerufen von https://bit.ly/2Ise6Z0

Markus Berg, Nils Weber, Christoph Eigenstetter, Antje Düsterhöft, (2009). Natürlichsprachliche Dialoge in Raumsteuerungssystemen. Abgerufen von https://bit.ly/2IqP6kK

Intelligent Virtual Agents: 5th International Working Conference, IVA 2005 … - Google Books. (2005). Abgerufen 11. April 2019, von https://bit.ly/2X5nE0a

Zhang, Y., Chong, M. K., Mü Ller, J., Bulling, A., & Gellersen, H. (o. J.). Eye tracking for public displays in the wild. Personal and Ubiquitous Computing. http://doi.org/10.1007/s00779-015-0866-8

Cook, D. J., & Das, S. K. (2005). Smart environments: technologies, protocols, and applications. Hoboken: John Wiley.

Irlinger, L. (2016). Answering a Questionnaire Using Eyetracking. Abgerufen von http://dbis.eprints.uni-ulm.de/1382/1/MA_Irlinger.pdf

Arrington Research. SceneCamera Eye Tracking. URL: http : / / www . arringtonresearch . com / scenetechinfo . html (visited on 12/22/2015).

Baltrušaitis, T., Robinson, P., & Morency, L.-P. (2016). OpenFace: an open source facial behavior analysis toolkit. Abgerufen von https://www.omron.com/ecb/products/mobile/

https://github.com/TadasBaltrusaitis/OpenFace/wiki/Output-Format

Zhang, X., Sugano, Y., Fritz, M., & Bulling, A. (o. J.). MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation. Abgerufen von https://www.mpi-inf.mpg.de/MPIIGaze.

Zhang, X., Sugano, Y., & Bulling, A. (2017). Everyday Eye Contact Detection Using Unsupervised Gaze Target Discovery. http://doi.org/10.1145/3126594.3126614

Zhang, X., Sugano, Y., Fritz, M., & Bulling, A. (o. J.). MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation. Abgerufen von https://www.mpi-inf.mpg.de/MPIIGaze.