**Dies ist eine alte Version des Dokuments!**
Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung
- Thema:
- Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung
- Art:
- MA
- BetreuerIn:
- Bernd Ludwig
- BearbeiterIn:
- Markus Bosek
- ErstgutachterIn:
- Bernd Ludwig
- ZweitgutachterIn:
- Niels Henze
- Status:
- Entwurf
- Stichworte:
- Objekterkennung, Aktionserkennung, Deep Learning
- angelegt:
- 2019-11-21
- Antrittsvortrag:
- 2019-12-09
Hintergrund
Für Koch- und Küchenassistenzsysteme existieren gegenüber Assistenzsystemen in anderen Kontexten spezielle Herausforderungen. Da Rezepte nicht immer linear aus- geführt werden und es viele verschiedene Elemente zu beobachten gibt, ist es nur schwierig möglich den aktuellen Zustand und Fortschritt ohne Nutzerinteraktion zu beobachten. Für die Akzeptanz solcher Systeme stellt dies allerdings ein Problem dar, da durch häufige Interaktionen, wie beispielsweise das manuelle Bestätigen aller Tasks oder durch Nachfragen durch das System z.B. mit „Hast du das schon gemacht?“, der Nutzer stark vom Kochvorgang abgelenkt werden kann und dies als störend empfinden kann. Des Weiteren bringt jede Küche einen individuellen Kontext und eigene Rahmenbedingungen, wie Lichtverhältnisse und Küchenutensilien mit sich.
Zielsetzung der Arbeit
Ziel der Arbeit ist die Entwicklung eines Assistenzsystems zur Erkennung und zum Tracking von Objekten und deren Zuständen im Kontext der Küche. Dazu soll eine Oberfläche zur Verwaltung der trackbaren Utensilien umgesetzt werden. Dadurch kann für verschiedene Küchen der Korpus der Gegenstände individuell durch die Nutzer aufgebaut werden. Mit der Hilfe einer festinstallierten Kamera und entspre- chenden Machine Learning Ansätzen zur Bilderkennung, soll das System dann die Küchenutensilien anhand des erstellten Korpus und dem Kontext der Küche erkennen. Diese Erkennung der Gegenstände soll zusätzlich mit vereinfachten Zuständen erwei- tert werden. Über eine Schnittstelle sollen bei einem Kochvorgang alle Rezeptschritte und insbesondere die aktuell durchgeführten Tasks in das System eingespeist werden können.
Konkrete Aufgaben
- Implementieren einer Korpusverwaltung und eines Objekt-Trackers
- Implementieren der Rezeptverwaltung und -formalisierung
- Implementieren einer Aktionserkennung
- Konzept und Umsetzung des Assistenten
- Erhebung, Annotation und Auswertung von Daten für eine Evaluierung
Erwartete Vorkenntnisse
Keine
Weiterführende Quellen
Damen, D., Doughty, H., Maria Farinella, G., Fidler, S., Furnari, A., Kazakos, E., . . . Wray, M. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. In Pro- ceedings of the European Conference on Computer Vision (ECCV). Retrieved from http://openaccess.thecvf.com/content_ECCV_2018/papers/Dima_Damen_Scaling_E gocentricVisionECCV2018paper.pdf Lei, J., Ren, X., & Fox, D. (2012). Fine-grained kitchen activity recognition using RGB-D. In A. K. Dey, H.-H. Chu, & G. Hayes (Eds.), Proceedings of the 2012 ACM Conference on Ubiquitous Computing - UbiComp '12 (p. 208). New York, New York, USA: ACM Press. https://doi.org/10.1145/2370216.2370248 Reiter, R. (2001). Knowledge in action: Logical foundations for specifying and implementing dynamical systems. Cambridge, Mass: MIT Press. Sato, A., Watanabe, K., & Rekimoto, J. (2013). MimiCook. In A. Butz, S. Greenberg, S. Bakker, L. Loke, & A. de Luca (Eds.), Proceedings of the 8th International Conference on Tangible, Embedded and Embodied Interaction - TEI '14 (pp. 121–124). New York, New York, USA: ACM Press. https://doi.org/10.1145/2540930.2540952