arbeiten:kontextsensitive_kochassistenz_mit_objekt-_und_aktionserkennung

Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung

Thema:
Kontextsensitive Kochassistenz mit Objekt- und Aktionserkennung
Art:
MA
BetreuerIn:
Bernd Ludwig
BearbeiterIn:
Markus Bosek
ErstgutachterIn:
Bernd Ludwig
ZweitgutachterIn:
Niels Henze
Status:
Entwurf
Stichworte:
Objekterkennung, Aktionserkennung, Deep Learning
angelegt:
2019-11-21
Antrittsvortrag:
2019-12-09

Hintergrund

Für Koch- und Küchenassistenzsysteme existieren gegenüber Assistenzsystemen in anderen Kontexten spezielle Herausforderungen. Da Rezepte nicht immer linear ausgeführt werden und es viele verschiedene Elemente zu beobachten gibt, ist es nur schwierig möglich den aktuellen Zustand und Fortschritt ohne Nutzerinteraktion zu beobachten. Für die Akzeptanz solcher Systeme stellt dies allerdings ein Problem dar, da durch häufige Interaktionen, wie beispielsweise das manuelle Bestätigen aller Tasks oder durch Nachfragen durch das System z.B. mit „Hast du das schon gemacht?“, der Nutzer stark vom Kochvorgang abgelenkt werden kann und dies als störend empfinden kann. Des Weiteren bringt jede Küche einen individuellen Kontext und eigene Rahmenbedingungen, wie Lichtverhältnisse und Küchenutensilien mit sich.

Zielsetzung der Arbeit

Ziel der Arbeit ist die Entwicklung eines Assistenzsystems zur Erkennung und zum Tracking von Objekten und deren Zuständen im Kontext der Küche. Dazu soll eine Oberfläche zur Verwaltung der trackbaren Utensilien umgesetzt werden. Dadurch kann für verschiedene Küchen der Korpus der Gegenstände individuell durch die Nutzer aufgebaut werden. Mit der Hilfe einer festinstallierten Kamera und entsprechenden Machine Learning Ansätzen zur Bilderkennung, soll das System dann die Küchenutensilien anhand des erstellten Korpus und dem Kontext der Küche erkennen. Diese Erkennung der Gegenstände soll zusätzlich mit vereinfachten Zuständen erweitert werden. Über eine Schnittstelle sollen bei einem Kochvorgang alle Rezeptschritte und insbesondere die aktuell durchgeführten Tasks in das System eingespeist werden können.

Konkrete Aufgaben

  • Implementieren einer Korpusverwaltung und eines Objekt-Trackers
  • Implementieren der Rezeptverwaltung und -formalisierung
  • Implementieren einer Aktionserkennung
  • Konzept und Umsetzung des Assistenten
  • Erhebung, Annotation und Auswertung von Daten für eine Evaluierung

Erwartete Vorkenntnisse

Keine

Weiterführende Quellen

  • Damen, D., Doughty, H., Maria Farinella, G., Fidler, S., Furnari, A., Kazakos, E., . . . Wray, M. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. In Proceedings of the European Conference on Computer Vision (ECCV). Retrieved from http://openaccess.thecvf.com/content_ECCV_2018/papers/Dima_Damen_Scaling_Egocentric_Vision_ECCV_2018_paper.pdf
  • Lei, J., Ren, X., & Fox, D. (2012). Fine-grained kitchen activity recognition using RGB-D. In A. K. Dey, H.-H. Chu, & G. Hayes (Eds.), Proceedings of the 2012 ACM Conference on Ubiquitous Computing - UbiComp '12 (p. 208). New York, New York, USA: ACM Press. https://doi.org/10.1145/2370216.2370248
  • Reiter, R. (2001). Knowledge in action: Logical foundations for specifying and implemen-ting dynamical systems. Cambridge, Mass: MIT Press.
  • Sato, A., Watanabe, K., & Rekimoto, J. (2013). MimiCook. In A. Butz, S. Greenberg, S. Bakker, L. Loke, & A. de Luca (Eds.), Proceedings of the 8th International Con-ference on Tangible, Embedded and Embodied Interaction - TEI '14 (pp. 121–124). New York, New York, USA: ACM Press. https://doi.org/10.1145/2540930.2540952