Smart Kitchen: Kombination von Gesichtserkennung und Sprachsteuerung zur natürlichen Interaktion mit Haushaltsgeräten im Smart Home

Thema:
Smart Kitchen: Kombination von Gesichtserkennung und Sprachsteuerung zur natürlichen Interaktion mit Haushaltsgeräten im Smart Home
Art:
MA
BetreuerIn:
Bernd Ludwig
BearbeiterIn:
Alexander Wolz
ErstgutachterIn:
Bernd Ludwig
ZweitgutachterIn:
N.N.
Status:
abgeschlossen
Stichworte:
Computer Vision, Speech Recognition, Speech Synthesis, Remote Services, Smart Home, OSGi, Raspberry Pi, Webcam, Java, Linux, JNI, C/C++
angelegt:
2016-12-02
Antrittsvortrag:
2016-12-12
Abschlussvortrag:
2017-03-30
Textlizenz:
Unbekannt
Codelizenz:
Unbekannt

Hintergrund

Mittlerweile hat das „Internet der Dinge“ in sehr vielen Lebensbereichen Einzug genommen. Gerade auf dem Verbrauchermarkt wächst die Anzahl der vernetzten Geräte und insbesondere im Bereich der Heimautomatisierung reicht die Palette von einfachen Verbrauchern wie Thermostaten über Haushaltsgeräte bis hin zur Unterhaltungselektronik. Zusätzlich lassen sich viele dieser Geräte sehr komfortabel über eine Smartphone-App steuern. Es gibt jedoch Alltagssituationen, in denen das Verwenden des Smartphones oder das Betätigen eines Knopfes als sehr störend empfunden werden kann, wenn man beispielsweise gerade beim Kochen mit fettigen Fingern das Smartphone bedienen muss, nur um den Radiosender zu wechseln.

Zielsetzung der Arbeit

Im Fokus dieser Masterarbeit steht die Konzeption eines multimodalen Systems, dass eine intuitive Kontaktaufnahme zu vernetzten Haushaltsge- räten herstellt, indem sie die Eingabemodalitäten Gesichtserkennung und Sprachsteuerung miteinander kombiniert inklusive anschließender Evaluation.

Konkrete Aufgaben

1. Anforderungen an die Hardware (Platinen, Webcam, Mikrofon, Lautsprecher, WiFi) 2. Analyse und prototypische Implementierung eines modularen Java-Systems zur Ansteuerung von Haushaltsgeräten inklusive Nutzertracking und Sprachsteuerung. 3. Implementierung eines Remote-Services zur gemeinsamen Gerätekommunikation. 4. Anbindung der Prototypen an eine intelligente Kaffeemaschine (BSH), Webradio oder B.O.R.I.S 5. Aufbau eines Test-Settings und Evaluation der Prototypen (evtl. mit Mock-Devices)

Erwartete Vorkenntnisse

Bildverarbeitung mit OpenCV, Linux, Java und C/C++, JNI, Modularisierung, OSGi, Spracherkennung, Sprachausgabe, Netzwerke, System-On-A-Chip (SoC), Raspberry Pi, Webcams, Apache Karaf, Remote Services, Distribution

Weiterführende Quellen

Nach Absprache mit dem Betreuer