Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- arbeiten:machbarkeitsstudie_zur_erkennung_des_blickpunkts_in_einer_frei_konfigurierbaren_kueche [11.04.2019 06:48] – Erstellt mit dem Formular arbeiten:anlegen Alexander Bazo
+++ arbeiten:machbarkeitsstudie_zur_erkennung_des_blickpunkts_in_einer_frei_konfigurierbaren_kueche [16.09.2020 12:10] (aktuell) – [Data-Entry] wiv23079
@@ Zeile 1: / Zeile 1: @@
-====== Machbarkeitsstudie zur Erkennung des Blickpunkts in einer frei konfigurierbaren Küche ======
+====== Eyetracking mit mehreren Kameras in Smart Kitchens ======
 ---- dataentry StudentischeArbeit ----
-Thema                       : Machbarkeitsstudie zur Erkennung des Blickpunkts in einer frei konfigurierbaren Küche
+Thema                                  : Eyetracking mit mehreren Kameras in Smart Kitchens
-Art_thesistypes             : MA
+Art_thesistypes                        : MA
-Betreuer_thesisadvisor      : Alexander Bazo
+BetreuerIn_thesisadvisor               : Bernd Ludwig
-Student                     : Markus Guder
+BearbeiterIn                           : Markus Guder
-Professor_thesisprofessor   : Bernd Ludwig
+ErstgutachterIn_thesisprofessor        : Bernd Ludwig
-Status_thesisstate         : in Bearbeitung
+ZweitgutachterIn_secondthesisprofessor : N.N. #
-Stichworte_thesiskeywords   : Eye-Tracking
+Status_thesisstate                     : abgeschlossen
-angelegt_dt                 : 2019-04-11
+Stichworte_thesiskeywords              : Eye-Tracking
-Beginn_dt                   :
+angelegt_dt                            : 2019-04-11
-Anmeldung_dt                :
+Beginn_dt                              :
-Antrittsvortrag_dt          :
+Anmeldung_dt                           :
-Abschlussvortrag_dt         :
+Antrittsvortrag_dt                     : 2019-05-13
-Ende_dt                     :
+Abschlussvortrag_dt                    : 2019-07-22
+Abgabe_dt                              :
+Textlizenz_textlicense                 : Unbekannt #
+Codelizenz_codelicense                 : Unbekannt #
 ----
 === Hintergrund ===
-tba
+Bei interaktiven Systemen ist es wichtig, den natürlichsten Weg der Kommunikation für den Nutzer zu finden [1]. Wie kann dieser mit einem Computer gesteuerten Assistenzsystem beispielsweise möglichst leicht Kontakt aufnehmen. Aktuelle Dialogsysteme setzen hierbei oft das initiale Drücken eines Buttons oder das Aussprechen eines Triggers-Worts („Alexa“ – Amazon Echo) voraus. Dies hat diverse Nachteile, zum Beispiel hinsichtlich der Erkennungs-Stabilität. Sprich Wörter werden von Spracherkennern falsch oder gar nicht erkannt, bzw dem falschen Kontext zugeordnet. [2, 3]
+Diverse Studien haben bisher gezeigt, dass dem Blickverhalten eine immense Bedeutung im Kommunikationsprozess zukommt. Durch das Anblicken eines Objekts wird der Kontakt zwischen System und Nutzer hergestellt und daraus resultierend der Kontext erkannt, auf dem die Aufmerksamkeit des Nutzers gerade liegt. [4, 5]
+Diese Blickerkennung ist aktuell mit unterschiedlichen Eyetracking Systemen prinzipiell möglich, aber in einem Smart Environment [6], ein Raum in dem intelligente und verknüpfte Geräte dem Bewohner das Leben einfacher machen sollen, nicht praktikabel einzusetzen. Das hier vorliegende Smart Environment ist eine Küche, in der das permanente Tragen eines mobilen Eye Trackers, beispielsweise während des Kochens, auf nur wenig Akzeptanz aufgrund des mangelnden Tragekomforts stößt [7]. Stationäre Eyetracker haben hingegen den Vorteil, dass diese den Nutzer nicht in seiner Tätigkeit beeinflussen würden. Bringen aber den Nachteil mit, dass ein flexibles Erkennen, wie dies die Arbeitsabläufe einer Küche voraussetzen, nicht geleistet werden kann. [8]
 === Zielsetzung der Arbeit ===
-tba
+Mithilfe der open source Blickerkennungssoftware Openface [9] soll ein Assistenzsystem implementiert und evaluiert werden, das über die Blickrichtung des Nutzers festellen kann, auf welchem Objekt in der Küche gerade dessen Aufmerksamkeit liegt.
+Hierbei soll im ersten Schritt die Zuverlässigkeit der Software Openface, mit Hilfe eines stationären Eye Trackers, hinsichtlich der Genauigkeit bzw. Geschwindigkeit der Erkennung, validiert werden.
+Im weiteren Vorgehen ist die Planung und der Aufbau einer Hardware basierten Infrastruktur zu leisten. Die sowohl dem Anspruch der freien Konfigurierbarkeit der Küche, als auch der Echtzeit-Visualisierung der Daten gerecht werden muss.
+Zudem soll ein User Interface erstellt werden, das die gerade erfassten Blicke live visualisiert und anzeigt was in der Küche der Nutzer gerade anblickt.
+Abschließend soll das System hinsichtlich folgender Fragestellungen evaluiert werden:
+  * FS1: Wie zuverlässig werden die Blicke der Nutzer vom System in einem realen Küchen Szenario erkannt?
+  * FS2: Welche Limitierungen gibt es hinsichtlich der Blickerkennung?
 === Konkrete Aufgaben ===
-tba
+  * Evaluierung von Openface mit Eye Tracking System, um zu beweisen, ob und in welchem Grad Openface genaue Daten liefert
+  * Planung und Implementierung eines Assistenzsystems das auf Basis der Blicke des Nutzers, dessen Intention erkennt
+   * Aufbau und Test einer Hardware Infrastruktur bestehend aus mehreren Kameras und Raspberry PIs
+   * Implementierung eines 3D-UIs zur Visualisierung
+   * Implementierung einer Datenverarbeitungs-Pipeline zur Verarbeitung und Echtzeit-Auswertung der Blickdaten
+  * Evaluierung des finalen Systems mit Hinblick auf die zuvor aufgestellten Fragestellungen
 === Erwartete Vorkenntnisse ===
-tba
+  * Erfahrung Computer Vision
+  * Verknüpfung unterschiedlicher Hardware Komponenten
+  * Prozessierung und Visualisierung von Echtzeitdaten
+  * entsprechende Mathematik
 === Weiterführende Quellen ===
-tba
+  - Alessandro Valli, PhD, (2006, Oktober). The Design of Natural Interaction. Abgerufen 11. April, 2019, von https://bit.ly/2UAEAyQ
+  - Markus Berg, (2012, September). Natürlichsprachlichkeit in Dialogsystemen. Abgerufen von https://bit.ly/2Ise6Z0
+  - Markus Berg, Nils Weber,  Christoph Eigenstetter, Antje Düsterhöft, (2009). Natürlichsprachliche Dialoge in Raumsteuerungssystemen. Abgerufen von https://bit.ly/2IqP6kK
+  - Intelligent Virtual Agents: 5th International Working Conference, IVA 2005 ... - Google Books. (2005). Abgerufen 11. April 2019, von https://bit.ly/2X5nE0a
+  - Zhang, Y., Chong, M. K., Mü Ller, J., Bulling, A., & Gellersen, H. (o. J.). Eye tracking for public displays in the wild. Personal and Ubiquitous Computing. http://doi.org/10.1007/s00779-015-0866-8
+  - Cook, D. J., & Das, S. K. (2005). Smart environments: technologies, protocols, and applications. Hoboken: John Wiley.
+  - Irlinger, L. (2016). Answering a Questionnaire Using Eyetracking. Abgerufen von http://dbis.eprints.uni-ulm.de/1382/1/MA_Irlinger.pdf
+  - Arrington Research. SceneCamera Eye Tracking. URL: http : / / www . arringtonresearch . com / scenetechinfo . html (visited on 12/22/2015).
+  - Baltrušaitis, T., Robinson, P., & Morency, L.-P. (2016). OpenFace: an open source facial behavior analysis toolkit. Abgerufen von https://www.omron.com/ecb/products/mobile/
+  - https://github.com/TadasBaltrusaitis/OpenFace/wiki/Output-Format
+  - Zhang, X., Sugano, Y., Fritz, M., & Bulling, A. (o. J.). MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation. Abgerufen von https://www.mpi-inf.mpg.de/MPIIGaze.
+  - Zhang, X., Sugano, Y., & Bulling, A. (2017). Everyday Eye Contact Detection Using Unsupervised Gaze Target Discovery. http://doi.org/10.1145/3126594.3126614
+  - Zhang, X., Sugano, Y., Fritz, M., & Bulling, A. (o. J.). MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation. Abgerufen von https://www.mpi-inf.mpg.de/MPIIGaze.