Smart Kitchen: Kombination von Gesichtserkennung und Sprachsteuerung zur natürlichen Interaktion mit Haushaltsgeräten im Smart Home

Mittlerweile hat das „Internet der Dinge“ in sehr vielen Lebensbereichen Einzug genommen. Gerade auf dem Verbrauchermarkt wächst die Anzahl der vernetzten Geräte und insbesondere im Bereich der Heimautomatisierung reicht die Palette von einfachen Verbrauchern wie Thermostaten über Haushaltsgeräte bis hin zur Unterhaltungselektronik. Zusätzlich lassen sich viele dieser Geräte sehr komfortabel über eine Smartphone-App steuern. Es gibt jedoch Alltagssituationen, in denen das Verwenden des Smartphones oder das Betätigen eines Knopfes als sehr störend empfunden werden kann, wenn man beispielsweise gerade beim Kochen mit fettigen Fingern das Smartphone bedienen muss, nur um den Radiosender zu wechseln.

Im Fokus dieser Masterarbeit steht die Konzeption eines multimodalen Systems, dass eine intuitive Kontaktaufnahme zu vernetzten Haushaltsge- räten herstellt, indem sie die Eingabemodalitäten Gesichtserkennung und Sprachsteuerung miteinander kombiniert inklusive anschließender Evaluation.

1. Anforderungen an die Hardware (Platinen, Webcam, Mikrofon, Lautsprecher, WiFi) 2. Analyse und prototypische Implementierung eines modularen Java-Systems zur Ansteuerung von Haushaltsgeräten inklusive Nutzertracking und Sprachsteuerung. 3. Implementierung eines Remote-Services zur gemeinsamen Gerätekommunikation. 4. Anbindung der Prototypen an eine intelligente Kaffeemaschine (BSH), Webradio oder B.O.R.I.S 5. Aufbau eines Test-Settings und Evaluation der Prototypen (evtl. mit Mock-Devices)

Bildverarbeitung mit OpenCV, Linux, Java und C/C++, JNI, Modularisierung, OSGi, Spracherkennung, Sprachausgabe, Netzwerke, System-On-A-Chip (SoC), Raspberry Pi, Webcams, Apache Karaf, Remote Services, Distribution

Nach Absprache mit dem Betreuer