arbeiten:kontextsensitive_kochassistenz_mit_objekt-_und_aktionserkennung

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung		 Vorhergehende Überarbeitung
arbeiten:kontextsensitive_kochassistenz_mit_objekt-_und_aktionserkennung [23.06.2020 08:42] – [Data-Entry] bom60345arbeiten:kontextsensitive_kochassistenz_mit_objekt-_und_aktionserkennung [23.06.2020 11:18] (aktuell) – [Data-Entry] Alexander Bazo
Zeile 2: Zeile 2:
  
 ---- dataentry StudentischeArbeit ---- ---- dataentry StudentischeArbeit ----
-Thema                                  : Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung #  +Thema                                  : Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung 
-Art_thesistypes                        : MA #  +Art_thesistypes                        : MA 
-BetreuerIn_thesisadvisor               : Bernd Ludwig #  +BetreuerIn_thesisadvisor               : Bernd Ludwig 
-BearbeiterIn                           : Markus Bosek #  +BearbeiterIn                           : Markus Bosek 
-ErstgutachterIn_thesisprofessor        : Bernd Ludwig #  +ErstgutachterIn_thesisprofessor        : Bernd Ludwig 
-ZweitgutachterIn_secondthesisprofessor : Niels Henze #  +ZweitgutachterIn_secondthesisprofessor : Niels Henze 
-Status_thesisstate                     : abgeschlossen #  +Status_thesisstate                     : abgeschlossen 
-Stichworte_thesiskeywords              : Objekterkennung, Aktionserkennung, Deep Learning #  +Stichworte_thesiskeywords              : Objekterkennung, Aktionserkennung, Deep Learning 
-angelegt_dt                            : 2019-11-21 #  +angelegt_dt                            : 2019-11-21 
-Anmeldung_dt                           : 2019-11-01 #  +Anmeldung_dt                           : 2019-11-01 
-Antrittsvortrag_dt                     : 2019-12-09 #  +Antrittsvortrag_dt                     : 2019-12-09 
-Abschlussvortrag_dt                    :  #  +Abschlussvortrag_dt                    : 2020-06-29 
-Abgabe_dt                              : 2020-06-15 # +Abgabe_dt                              : 2020-06-15
 Textlizenz_textlicense                 :  # #Lizenz|## Textlizenz_textlicense                 :  # #Lizenz|##
 Codelizenz_codelicense                 :  # #Lizenz|## Codelizenz_codelicense                 :  # #Lizenz|##
 ---- ----
 +
  
  
 === Hintergrund === === Hintergrund ===
  
-Für Koch- und Küchenassistenzsysteme existieren gegenüber Assistenzsystemen in anderen Kontexten spezielle Herausforderungen. Da Rezepte nicht immer linear ausgeführt werden und es viele verschiedene Elemente zu beobachten gibt, ist es nur schwierig möglich den aktuellen Zustand und Fortschritt ohne Nutzerinteraktion zu beobachten. Für die Akzeptanz solcher Systeme stellt dies allerdings ein Problem dar, da durch häufige Interaktionen, wie beispielsweise das manuelle Bestätigen aller Tasks oder durch Nachfragen durch das System z.B. mit „Hast du das schon gemacht?“, der Nutzer stark vom Kochvorgang abgelenkt werden kann und dies als störend empfinden kann. Des Weiteren bringt jede Küche einen individuellen Kontext und eigene Rahmenbedingungen, wie Lichtverhältnisse und Küchenutensilien mit sich. +Für Koch- und Küchenassistenzsysteme existieren gegenüber Assistenzsystemen in anderen Kontexten spezielle Herausforderungen. Da Rezepte nicht immer linear ausgeführt werden und es viele verschiedene Elemente zu beobachten gibt, ist es nur schwer möglich den aktuellen Zustand und Fortschritt ohne Nutzerinteraktion zu beobachten. Für die Akzeptanz solcher Systeme stellt dies allerdings ein Problem dar, da durch häufige Interaktionen, wie beispielsweise das manuelle Bestätigen aller Tasks oder durch Nachfragen durch das System z.B. mit „Hast du das schon gemacht?“, der Nutzer stark vom Kochvorgang abgelenkt werden kann und dies als störend empfinden kann. Des Weiteren bringt jede Küche einen individuellen Kontext und eigene Rahmenbedingungen, wie Lichtverhältnisse und Küchenutensilien mit sich.
  
 === Zielsetzung der Arbeit === === Zielsetzung der Arbeit ===
  
-Ziel der Arbeit ist die Entwicklung eines Assistenzsystems zur Erkennung und zum Tracking von Objekten und deren Zuständen im Kontext der Küche. Dazu soll eine Oberfläche zur Verwaltung der trackbaren Utensilien umgesetzt werden. Dadurch kann für verschiedene Küchen der Korpus der Gegenstände individuell durch die Nutzer aufgebaut werden. Mit der Hilfe einer festinstallierten Kamera und entsprechenden Machine Learning Ansätzen zur Bilderkennung, soll das System dann die Küchenutensilien anhand des erstellten Korpus und dem Kontext der Küche erkennen. Diese Erkennung der Gegenstände soll zusätzlich mit vereinfachten Zuständen erweitert werden. Über eine Schnittstelle sollen bei einem Kochvorgang alle Rezeptschritte und insbesondere die aktuell durchgeführten Tasks in das System eingespeist werden können.+Ziel der Arbeit ist die Entwicklung eines Assistenzsystems zur Erkennung von Objekten und deren Zuständen im Kontext der Küche. Dazu soll eine Oberfläche zur Verwaltung der erkennbaren Utensilien umgesetzt werden. Dadurch kann für verschiedene Küchen der Korpus der Gegenstände individuell durch die Nutzer aufgebaut werden. Mit der Hilfe festinstallierter Kameras und entsprechenden Ansätzen des maschinellen Lernens zur Bilderkennung, soll das System die Küchenutensilien anhand des erstellten Korpus und dem Kontext der Küche erkennen. Diese Erkennung der Gegenstände soll zusätzlich mit vereinfachten Zuständen erweitert werden können. Über eine Schnittstelle sollen bei einem Kochvorgang alle Rezeptschritte und insbesondere die aktuell durchgeführten Tasks in ein Assistenzsystem eingespeist werden können.
  
 === Konkrete Aufgaben === === Konkrete Aufgaben ===
  
-- Implementieren einer Korpusverwaltung und eines Objekt-Trackers+- Implementieren einer Korpusverwaltung
 - Implementieren der Rezeptverwaltung und -formalisierung - Implementieren der Rezeptverwaltung und -formalisierung
-- Implementieren einer Aktionserkennung +- Einarbeitung in Frameworks und Bibliotheken (maschinelles Lernen) 
-- Konzept und Umsetzung des Assistenten +- Implementieren einer Aktions- und Objekterkennung 
-- Erhebung, Annotation und Auswertung von Daten für eine Evaluierung+- Erhebung, Annotation und Auswertung von Daten für eine Evaluierung  
  
 === Erwartete Vorkenntnisse === === Erwartete Vorkenntnisse ===
Zeile 44: Zeile 46:
 - Damen, D., Doughty, H., Maria Farinella, G., Fidler, S., Furnari, A., Kazakos, E., . . . Wray, M. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. In Proceedings of the European Conference on Computer Vision (ECCV). Retrieved from http://openaccess.thecvf.com/content_ECCV_2018/papers/Dima_Damen_Scaling_Egocentric_Vision_ECCV_2018_paper.pdf - Damen, D., Doughty, H., Maria Farinella, G., Fidler, S., Furnari, A., Kazakos, E., . . . Wray, M. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. In Proceedings of the European Conference on Computer Vision (ECCV). Retrieved from http://openaccess.thecvf.com/content_ECCV_2018/papers/Dima_Damen_Scaling_Egocentric_Vision_ECCV_2018_paper.pdf
 - Lei, J., Ren, X., & Fox, D. (2012). Fine-grained kitchen activity recognition using RGB-D. In A. K. Dey, H.-H. Chu, & G. Hayes (Eds.), Proceedings of the 2012 ACM Conference on Ubiquitous Computing - UbiComp '12 (p. 208). New York, New York, USA: ACM Press. https://doi.org/10.1145/2370216.2370248 - Lei, J., Ren, X., & Fox, D. (2012). Fine-grained kitchen activity recognition using RGB-D. In A. K. Dey, H.-H. Chu, & G. Hayes (Eds.), Proceedings of the 2012 ACM Conference on Ubiquitous Computing - UbiComp '12 (p. 208). New York, New York, USA: ACM Press. https://doi.org/10.1145/2370216.2370248
-- Reiter, R. (2001). Knowledge in action: Logical foundations for specifying and implemen-ting dynamical systems. Cambridge, Mass: MIT Press. +- Neumann, A., Elbrechter, C., Pfeiffer-Leßmann, N., Kõiva, R., Carlmeyer, B., Rüther, S., Schade, M., Ückermann, A., Wachsmuth, S., & Ritter, H. J. (2017). “Kogni-Chef”: A Cognitive Cooking Assistant. KI - Künstliche Intelligenz, 31(3), 273–281. https://doi.org/10.1007/s13218-017-0488-6
 - Sato, A., Watanabe, K., & Rekimoto, J. (2013). MimiCook. In A. Butz, S. Greenberg, S. Bakker, L. Loke, & A. de Luca (Eds.), Proceedings of the 8th International Con-ference on Tangible, Embedded and Embodied Interaction - TEI '14 (pp. 121–124). New York, New York, USA: ACM Press. https://doi.org/10.1145/2540930.2540952 - Sato, A., Watanabe, K., & Rekimoto, J. (2013). MimiCook. In A. Butz, S. Greenberg, S. Bakker, L. Loke, & A. de Luca (Eds.), Proceedings of the 8th International Con-ference on Tangible, Embedded and Embodied Interaction - TEI '14 (pp. 121–124). New York, New York, USA: ACM Press. https://doi.org/10.1145/2540930.2540952