Integration kognitiver Webservices in eine Webapplikation zur Sprachsteuerung eines Smart Home Geräts

Seit der Einführung von Apples Sprachassistenten Siri, dem mit Windows 10 erhältlichem Cortana, des von Amazon sprachgesteuerten Assistenzsystems namens Echo sowie des noch im Jahr 2017 in Deutschland erhältlichen virtuellen Haushaltsassistenten Google Home, lässt sich immer mehr eine Nachfrage nach eben solchen Systemen seitens der Konsumenten erkennen. Da jedoch viele Sprachassistenzsysteme das Problem einer natürlichen Konversation speziell aus dem Kontext heraus aufweisen, gilt es zu untersuchen ob die prototypische Implementierung einer Sprachapplikation sowie seine anschließende Evaluierung zu Gunsten der Benutzerzufriedenheit im Umgang mit dem System erfolgte.

Der Fokus dieser Masterarbeit besteht in der Konzeption und prototypischen Implementierung eines Sprachdialogmanagers in Form einer Webapplikation in die webbasierte Benutzeroberfläche des Cocktailmixers BORIS, der ein Projekt des Lehrstuhls für Informationswissenschaft der Universität Regensburg darstellt. Dazu wird anschließend die Benutzerzufriedenheit im Umgang mit dem System mittels Sprache im generellen sowie beim Auftreten von Fehlern und Missverständnissen evaluiert. In Folge dessen werden auch Einschränkungen der Evaluierung sowie Probleme im Allgemeinen im Hinblick auf die sprachbasierte Mensch-Maschine-Interaktion ermittelt, mit dem Ziel Ansätze für zukünftige auf dieser Arbeit aufbauende wissenschaftliche Arbeiten zu generieren.

• Anforderungen an die Webapplikation, den Sprachdialogmanager und deren Zusammenspiel
• Prototypische Implementierung einer auf Angular 2 basierenden Webapplikation in die bestehende Benutzeroberfläche des automatischen Cocktailmixers BORIS inklusive Refactoring, Sprachsteuerung, Evaluierungsparametern und -methoden
• Erstellung eines Sprachdialogmanagers mittels eines sogenannten cognitive computive NLP system namens „IBM Watson Conversation“ mit anschließender Integration in die Webapplikation
• Identifikation von Problemen hinsichtlich einer natürlichen Konversation zwischen Mensch und Maschine unter der Berücksichtigung des Dialogkontexts
• Aufbau einer Fallstudie mit der die in BORIS integrierte Webapplikation und der Sprachdialogmanager evaluiert werden
• Evaluierung gegebenenfalls mittels des adaptierten PARADISE-Frameworks

• Fortgeschrittene Kenntnisse in der Webprogrammierung (HTML 5, CSS 3, JavaScript, TypeScript, Node.js, npm, PHP, MySQL)
• Nutzung und Integration von cloud-basierten IT-Services in eine Webapplikation
• Spracherkennung und -ausgabe

• Raux, A., Lane, I., & Misu, T. (2016). Situated Dialog in Speech-Based Human-Computer Interaction. Signals and communication technology (. https://link.springer.com/book/10.1007/978-3-319-21834-2
• Görz, G., & Ludwig, B. (2005). Speech Dialogue Systems-A Pragmatics-Guided Approach to Rational Interaction. KI, 19(3), 5. http://wwwdh.cs.fau.de/IMMD8/staff/Goerz/montenegro2003.pdf
• Bohus, D., & Rudnicky, A. I. (2005). Sorry, I didn't catch that!-An investigation of non-understanding errors and recovery strategies. In 6th SIGdial Workshop on Discourse and Dialogue. http://www.isca-speech.org/archive_open/sigdial6/sgd6_128.pdf
• Walker, M. A., Litman, D. J., Kamm, C. A., & Abella, A. (1997, July). PARADISE: A framework for evaluating spoken dialogue agents. In Proceedings of the eighth conference on European chapter of the Association for Computational Linguistics (pp. 271-280). Association for Computational Linguistics. http://dl.acm.org/citation.cfm?id=979652
• Möller, S., Smeele, P., Boland, H., & Krebber, J. (2007). Evaluating spoken dialogue systems according to de-facto standards: A case study. Computer Speech & Language, 21(1), 26-53. http://www.sciencedirect.com/science/article/pii/S0885230805000781