Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung

Für Koch- und Küchenassistenzsysteme existieren gegenüber Assistenzsystemen in anderen Kontexten spezielle Herausforderungen. Da Rezepte nicht immer linear ausgeführt werden und es viele verschiedene Elemente zu beobachten gibt, ist es nur schwer möglich den aktuellen Zustand und Fortschritt ohne Nutzerinteraktion zu beobachten. Für die Akzeptanz solcher Systeme stellt dies allerdings ein Problem dar, da durch häufige Interaktionen, wie beispielsweise das manuelle Bestätigen aller Tasks oder durch Nachfragen durch das System z.B. mit „Hast du das schon gemacht?“, der Nutzer stark vom Kochvorgang abgelenkt werden kann und dies als störend empfinden kann. Des Weiteren bringt jede Küche einen individuellen Kontext und eigene Rahmenbedingungen, wie Lichtverhältnisse und Küchenutensilien mit sich.

Ziel der Arbeit ist die Entwicklung eines Assistenzsystems zur Erkennung von Objekten und deren Zuständen im Kontext der Küche. Dazu soll eine Oberfläche zur Verwaltung der erkennbaren Utensilien umgesetzt werden. Dadurch kann für verschiedene Küchen der Korpus der Gegenstände individuell durch die Nutzer aufgebaut werden. Mit der Hilfe festinstallierter Kameras und entsprechenden Ansätzen des maschinellen Lernens zur Bilderkennung, soll das System die Küchenutensilien anhand des erstellten Korpus und dem Kontext der Küche erkennen. Diese Erkennung der Gegenstände soll zusätzlich mit vereinfachten Zuständen erweitert werden können. Über eine Schnittstelle sollen bei einem Kochvorgang alle Rezeptschritte und insbesondere die aktuell durchgeführten Tasks in ein Assistenzsystem eingespeist werden können.

• Implementieren einer Korpusverwaltung
• Implementieren der Rezeptverwaltung und -formalisierung
• Einarbeitung in Frameworks und Bibliotheken (maschinelles Lernen)
• Implementieren einer Aktions- und Objekterkennung
• Erhebung, Annotation und Auswertung von Daten für eine Evaluierung

Keine

• Damen, D., Doughty, H., Maria Farinella, G., Fidler, S., Furnari, A., Kazakos, E., . . . Wray, M. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. In Proceedings of the European Conference on Computer Vision (ECCV). Retrieved from http://openaccess.thecvf.com/content_ECCV_2018/papers/Dima_Damen_Scaling_Egocentric_Vision_ECCV_2018_paper.pdf
• Lei, J., Ren, X., & Fox, D. (2012). Fine-grained kitchen activity recognition using RGB-D. In A. K. Dey, H.-H. Chu, & G. Hayes (Eds.), Proceedings of the 2012 ACM Conference on Ubiquitous Computing - UbiComp '12 (p. 208). New York, New York, USA: ACM Press. https://doi.org/10.1145/2370216.2370248
• Neumann, A., Elbrechter, C., Pfeiffer-Leßmann, N., Kõiva, R., Carlmeyer, B., Rüther, S., Schade, M., Ückermann, A., Wachsmuth, S., & Ritter, H. J. (2017). “Kogni-Chef”: A Cognitive Cooking Assistant. KI - Künstliche Intelligenz, 31(3), 273–281. https://doi.org/10.1007/s13218-017-0488-6
• Sato, A., Watanabe, K., & Rekimoto, J. (2013). MimiCook. In A. Butz, S. Greenberg, S. Bakker, L. Loke, & A. de Luca (Eds.), Proceedings of the 8th International Con-ference on Tangible, Embedded and Embodied Interaction - TEI '14 (pp. 121–124). New York, New York, USA: ACM Press. https://doi.org/10.1145/2540930.2540952