Integration kognitiver Webservices in eine Webapplikation zur Sprachsteuerung eines Smart Home Geräts

Hintergrund

Seit der Einführung von Apples Sprachassistenten Siri, dem mit Windows 10 erhältlichem Cortana, des von Amazon sprachgesteuerten Assistenzsystems namens Echo sowie des noch im Jahr 2017 in Deutschland erhältlichen virtuellen Haushaltsassistenten Google Home, lässt sich immer mehr eine Nachfrage nach eben solchen Systemen seitens der Konsumenten erkennen. Da jedoch viele Sprachassistenzsysteme das Problem einer natürlichen Konversation speziell aus dem Kontext heraus aufweisen, gilt es zu untersuchen ob die prototypische Implementierung einer Sprachapplikation sowie seine anschließende Evaluierung zu Gunsten der Benutzerzufriedenheit im Umgang mit dem System erfolgte.

Zielsetzung der Arbeit

Der Fokus dieser Masterarbeit besteht in der Konzeption und prototypischen Implementierung eines Sprachdialogmanagers in Form einer Webapplikation in die webbasierte Benutzeroberfläche des Cocktailmixers BORIS, der ein Projekt des Lehrstuhls für Informationswissenschaft der Universität Regensburg darstellt. Dazu wird anschließend die Benutzerzufriedenheit im Umgang mit dem System mittels Sprache im generellen sowie beim Auftreten von Fehlern und Missverständnissen evaluiert. In Folge dessen werden auch Einschränkungen der Evaluierung sowie Probleme im Allgemeinen im Hinblick auf die sprachbasierte Mensch-Maschine-Interaktion ermittelt, mit dem Ziel Ansätze für zukünftige auf dieser Arbeit aufbauende wissenschaftliche Arbeiten zu generieren.

Konkrete Aufgaben

Anforderungen an die Webapplikation, den Sprachdialogmanager und deren Zusammenspiel

Prototypische Implementierung einer auf Angular 2 basierenden Webapplikation in die bestehende Benutzeroberfläche des automatischen Cocktailmixers BORIS inklusive Refactoring, Sprachsteuerung, Evaluierungsparametern und -methoden

Erstellung eines Sprachdialogmanagers mittels eines sogenannten cognitive computive NLP system namens „IBM Watson Conversation“ mit anschließender Integration in die Webapplikation

Identifikation von Problemen hinsichtlich einer natürlichen Konversation zwischen Mensch und Maschine unter der Berücksichtigung des Dialogkontexts

Aufbau einer Fallstudie mit der die in BORIS integrierte Webapplikation und der Sprachdialogmanager evaluiert werden

Evaluierung gegebenenfalls mittels des adaptierten PARADISE-Frameworks

Erwartete Vorkenntnisse

Fortgeschrittene Kenntnisse in der Webprogrammierung (HTML 5, CSS 3, JavaScript, TypeScript, Node.js, npm, PHP, MySQL)

Nutzung und Integration von cloud-basierten IT-Services in eine Webapplikation

Spracherkennung und -ausgabe

Weiterführende Quellen

Raux, A., Lane, I., & Misu, T. (2016). Situated Dialog in Speech-Based Human-Computer Interaction. Signals and communication technology (. https://link.springer.com/book/10.1007/978-3-319-21834-2

Görz, G., & Ludwig, B. (2005). Speech Dialogue Systems-A Pragmatics-Guided Approach to Rational Interaction. KI, 19(3), 5. http://wwwdh.cs.fau.de/IMMD8/staff/Goerz/montenegro2003.pdf

Bohus, D., & Rudnicky, A. I. (2005). Sorry, I didn't catch that!-An investigation of non-understanding errors and recovery strategies. In 6th SIGdial Workshop on Discourse and Dialogue. http://www.isca-speech.org/archive_open/sigdial6/sgd6_128.pdf

Walker, M. A., Litman, D. J., Kamm, C. A., & Abella, A. (1997, July). PARADISE: A framework for evaluating spoken dialogue agents. In Proceedings of the eighth conference on European chapter of the Association for Computational Linguistics (pp. 271-280). Association for Computational Linguistics. http://dl.acm.org/citation.cfm?id=979652

Möller, S., Smeele, P., Boland, H., & Krebber, J. (2007). Evaluating spoken dialogue systems according to de-facto standards: A case study. Computer Speech & Language, 21(1), 26-53. http://www.sciencedirect.com/science/article/pii/S0885230805000781