arbeiten:kontextsensitive_kochassistenz_mit_objekt-_und_aktionserkennung

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Nächste Überarbeitung		 Vorhergehende Überarbeitung
arbeiten:kontextsensitive_kochassistenz_mit_objekt-_und_aktionserkennung [21.11.2019 12:49] – Erstellt mit dem Formular arbeiten:anlegen Alexander Bazoarbeiten:kontextsensitive_kochassistenz_mit_objekt-_und_aktionserkennung [23.06.2020 11:18] (aktuell) – [Data-Entry] Alexander Bazo
Zeile 2: Zeile 2:
  
 ---- dataentry StudentischeArbeit ---- ---- dataentry StudentischeArbeit ----
-Thema                       : Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung +Thema                                  : Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung 
-Art_thesistypes             : MA +Art_thesistypes                        : MA 
-BetreuerIn_thesisadvisor    : Bernd Ludwig +BetreuerIn_thesisadvisor               : Bernd Ludwig 
-BearbeiterIn                : Markus Bosek +BearbeiterIn                           : Markus Bosek 
-ErstgutachterIn_thesisprofessor  : Bernd Ludwig+ErstgutachterIn_thesisprofessor        : Bernd Ludwig
 ZweitgutachterIn_secondthesisprofessor : Niels Henze ZweitgutachterIn_secondthesisprofessor : Niels Henze
-Status_thesisstate          : Entwurf +Status_thesisstate                     : abgeschlossen 
-Stichworte_thesiskeywords   : Objekterkennung, Aktionserkennung, Deep Learning +Stichworte_thesiskeywords              : Objekterkennung, Aktionserkennung, Deep Learning 
-angelegt_dt                 : 2019-11-21 +angelegt_dt                            : 2019-11-21 
-Anmeldung_dt                :  +Anmeldung_dt                           : 2019-11-01 
-Antrittsvortrag_dt          : 2019-12-09 +Antrittsvortrag_dt                     : 2019-12-09 
-Abschlussvortrag_dt         :  +Abschlussvortrag_dt                    : 2020-06-29 
-Abgabe_dt                   :  +Abgabe_dt                              : 2020-06-15 
-Textlizenz_textlicense      : ##Lizenz|## +Textlizenz_textlicense                 :  # #Lizenz|## 
-Codelizenz_codelicense      : ##Lizenz|##+Codelizenz_codelicense                 :  # #Lizenz|##
 ---- ----
 +
 +
  
 === Hintergrund === === Hintergrund ===
  
-Für Koch- und Küchenassistenzsysteme existieren gegenüber Assistenzsystemen in anderen Kontexten spezielle Herausforderungen. Da Rezepte nicht immer linear aus- +Für Koch- und Küchenassistenzsysteme existieren gegenüber Assistenzsystemen in anderen Kontexten spezielle Herausforderungen. Da Rezepte nicht immer linear ausgeführt werden und es viele verschiedene Elemente zu beobachten gibt, ist es nur schwer möglich den aktuellen Zustand und Fortschritt ohne Nutzerinteraktion zu beobachten. Für die Akzeptanz solcher Systeme stellt dies allerdings ein Problem dar, da durch häufige Interaktionen, wie beispielsweise das manuelle Bestätigen aller Tasks oder durch Nachfragen durch das System z.B. mit „Hast du das schon gemacht?“, der Nutzer stark vom Kochvorgang abgelenkt werden kann und dies als störend empfinden kann. Des Weiteren bringt jede Küche einen individuellen Kontext und eigene Rahmenbedingungen, wie Lichtverhältnisse und Küchenutensilien mit sich.
-geführt werden und es viele verschiedene Elemente zu beobachten gibt, ist es nur schwierig möglich den aktuellen Zustand und Fortschritt ohne Nutzerinteraktion zu beobachten. Für die Akzeptanz solcher Systeme stellt dies allerdings ein Problem dar, da durch häufige Interaktionen, wie beispielsweise das manuelle Bestätigen aller Tasks oder durch Nachfragen durch das System z.B. mit „Hast du das schon gemacht?“, der Nutzer stark vom Kochvorgang abgelenkt werden kann und dies als störend empfinden kann. Des Weiteren bringt jede Küche einen individuellen Kontext und eigene Rahmenbedingungen, wie Lichtverhältnisse und Küchenutensilien mit sich.+
  
 === Zielsetzung der Arbeit === === Zielsetzung der Arbeit ===
  
-Ziel der Arbeit ist die Entwicklung eines Assistenzsystems zur Erkennung und zum +Ziel der Arbeit ist die Entwicklung eines Assistenzsystems zur Erkennung von Objekten und deren Zuständen im Kontext der Küche. Dazu soll eine Oberfläche zur Verwaltung der erkennbaren Utensilien umgesetzt werden. Dadurch kann für verschiedene Küchen der Korpus der Gegenstände individuell durch die Nutzer aufgebaut werden. Mit der Hilfe festinstallierter Kameras und entsprechenden Ansätzen des maschinellen Lernens zur Bilderkennung, soll das System die Küchenutensilien anhand des erstellten Korpus und dem Kontext der Küche erkennen. Diese Erkennung der Gegenstände soll zusätzlich mit vereinfachten Zuständen erweitert werden können. Über eine Schnittstelle sollen bei einem Kochvorgang alle Rezeptschritte und insbesondere die aktuell durchgeführten Tasks in ein Assistenzsystem eingespeist werden können.
-Tracking von Objekten und deren Zuständen im Kontext der Küche. Dazu soll eine +
-Oberfläche zur Verwaltung der trackbaren Utensilien umgesetzt werden. Dadurch +
-kann für verschiedene Küchen der Korpus der Gegenstände individuell durch die +
-Nutzer aufgebaut werden. Mit der Hilfe einer festinstallierten Kamera und entspre- +
-chenden Machine Learning Ansätzen zur Bilderkennung, soll das System dann die +
-Küchenutensilien anhand des erstellten Korpus und dem Kontext der Küche erkennen. +
-Diese Erkennung der Gegenstände soll zusätzlich mit vereinfachten Zuständen erwei- +
-tert werden. Über eine Schnittstelle sollen bei einem Kochvorgang alle Rezeptschritte und insbesondere die aktuell durchgeführten Tasks in das System eingespeist werden +
-können.+
  
 === Konkrete Aufgaben === === Konkrete Aufgaben ===
  
-- Implementieren einer Korpusverwaltung und eines Objekt-Trackers+- Implementieren einer Korpusverwaltung
 - Implementieren der Rezeptverwaltung und -formalisierung - Implementieren der Rezeptverwaltung und -formalisierung
-- Implementieren einer Aktionserkennung +- Einarbeitung in Frameworks und Bibliotheken (maschinelles Lernen) 
-- Konzept und Umsetzung des Assistenten +- Implementieren einer Aktions- und Objekterkennung 
-- Erhebung, Annotation und Auswertung von Daten für eine Evaluierung+- Erhebung, Annotation und Auswertung von Daten für eine Evaluierung  
  
 === Erwartete Vorkenntnisse === === Erwartete Vorkenntnisse ===
Zeile 51: Zeile 44:
 === Weiterführende Quellen === === Weiterführende Quellen ===
  
-Damen, D., Doughty, H., Maria Farinella, G., Fidler, S., Furnari, A., Kazakos, E., . . . +- Damen, D., Doughty, H., Maria Farinella, G., Fidler, S., Furnari, A., Kazakos, E., . . . Wray, M. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. In Proceedings of the European Conference on Computer Vision (ECCV). Retrieved from http://openaccess.thecvf.com/content_ECCV_2018/papers/Dima_Damen_Scaling_Egocentric_Vision_ECCV_2018_paper.pdf 
-Wray, M. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. In Pro- +- Lei, J., Ren, X., & Fox, D. (2012). Fine-grained kitchen activity recognition using RGB-D. In A. K. Dey, H.-H. Chu, & G. Hayes (Eds.), Proceedings of the 2012 ACM Conference on Ubiquitous Computing - UbiComp '12 (p. 208). New York, New York, USA: ACM Press. https://doi.org/10.1145/2370216.2370248 
-ceedings of the European Conference on Computer Vision (ECCV). Retrieved from +- Neumann, A., Elbrechter, C., Pfeiffer-Leßmann, N., Kõiva, R., Carlmeyer, B., Rüther, S., Schade, M., Ückermann, A., Wachsmuth, S., & Ritter, H. J. (2017). “Kogni-Chef”: A Cognitive Cooking Assistant. KI - Künstliche Intelligenz, 31(3), 273–281. https://doi.org/10.1007/s13218-017-0488-6 
-http://openaccess.thecvf.com/content_ECCV_2018/papers/Dima_Damen_Scaling_E +- Sato, A., Watanabe, K., & Rekimoto, J. (2013). MimiCook. In A. Butz, S. Greenberg, S. Bakker, L. Loke, & A. de Luca (Eds.), Proceedings of the 8th International Con-ference on Tangible, Embedded and Embodied Interaction - TEI '14 (pp. 121–124). New York, New York, USA: ACM Press. https://doi.org/10.1145/2540930.2540952 
-gocentric_Vision_ECCV_2018_paper.pdf +
-Lei, J., Ren, X., & Fox, D. (2012). Fine-grained kitchen activity recognition using RGB-D. +
-In A. K. Dey, H.-H. Chu, & G. Hayes (Eds.), Proceedings of the 2012 ACM Conference +
-on Ubiquitous Computing - UbiComp '12 (p. 208). New York, New York, USA: ACM +
-Press. https://doi.org/10.1145/2370216.2370248 +
-Reiter, R. (2001). Knowledge in action: Logical foundations for specifying and implementing +
-dynamical systems. Cambridge, Mass: MIT Press. +
-Sato, A., Watanabe, K., & Rekimoto, J. (2013). MimiCook. In A. Butz, S. Greenberg, S. +
-Bakker, L. Loke, & A. de Luca (Eds.), Proceedings of the 8th International Conference +
-on Tangible, Embedded and Embodied Interaction - TEI '14 (pp. 121–124). New York, +
-New York, USA: ACM Press. https://doi.org/10.1145/2540930.2540952+