Entwicklung und Evaluation eines Chatbots für Diary Studies

Hintergrund

Die Pandemie grenzt die zur Verfügung stehenden qualitativen Methoden der Untersuchung des Informationsverhaltens ein. Um dennoch spannende Einblicke in das wissenschaftliche Arbeiten von Studierenden zu erhalten möchte ich gerne eine Tagebuchstudie durchführen.

Aus diesem Hintergrund ergibt sich die Problemstellung: Tagebuchstudien stellen eine Forschungsmethode der Mensch-Maschine-Interaktion (e.g. Lazar et. al. 2010) und der Informationswissenschaft (e. g. Sohn et. al. 2008) dar. Einige Studien beschäftigen sich auch mit der Methode selbst: So haben Carter und Mankoff (2005) untersucht, wie im Rahmen von Tagebuchstudien Artefakte in Form von Bilder gesammelt werden können und mit Hilfe von Audio-Aufnahmen von den Studienteilnehmer*innen annotiert werden können. Mit der starken Verbreitung von Instant-Messaging-Apps auf Smartphone ergeben sich neue Möglichkeiten der Interviewführung (vgl. Kaufmann & Peil 2020). Ob und wie diese für Tagebuchstudien genutzt werden können gilt zu evaluieren, insbesondere mit Blick auf die vielfältigen Möglichkeiten multimediale Artefakte via Messenger zu versenden (Sprachnachrichten, Bilder, Videos, …)

Für die Weiterentwicklung des Projekts und Nutzung in anderen Studien wäre es mir wichtig den Programmcode, der für diese Abschlussarbeit entsteht unter einer Open Source Lizenz zur Verfügung zu stellen. Machen Sie sich bitte darüber Gedanken, ob Sie mit der Open Source Veröffentlichung Ihres Codes einverstanden wären.

Zielsetzung der Arbeit

Für Bachelorarbeiten

Aufgrund der begrenzten Bearbeitungszeit ist das Ziel Ihrer Bachelorarbeit die Implementierung eines Prototypen und die Usability-Evaluation desselben.

Für Masterarbeiten

Aufgrund des umfassenderen Bearbeitungsfensters ist das Ziel Ihrer Masterarbeit die Implementierung eines Prototpyen und die Evaluation mit Hilfe einer Fallstudie. Sie akquirieren zwei Proband*innengruppen, die eine Gruppe nutzt das Tool, die andere klassische Erfassungsmethoden der Diary Studies (Fragebögen, …). Zur Auswertung werden die gesammelten Daten beider Gruppen miteinander verglichen.

Konkrete Aufgaben

Implementierung

Im ersten Teil Ihrer Abschlussarbeit implementieren Sie einen Chatbot für Telegram, der zur Interviewführung genutzt werden kann. Obligatorische Anforderungen sind:

Chatbasierte Anmeldung inkl. Führung durch Datenschutzvereinbarungen etc.

Chatbasierte Beantwortung von Fragebögen. Für Antworten können folgende Eingabemethoden gewählt werden: Buttons (verfügbar via Telegram-API), Freitexteingabe, Audioaufnahmen, weitere Multimediaformate.

Automatisiertes Triggern von Fragebögen (z.B. jeden Tag um 17 Uhr).

Verwaltung des Fragebögen und Antworten: Im Hintergrund muss eine Datenbank implementiert werden, bestenfalls gibt es ein Web-Interface, mit dem Fragebögen angelegt und Teilnehmende sowie Antworten organisiert werden können. Erste Vorarbeiten dafür existieren.

Für Masterarbeit: Bereitstellung eines alternativen Fragebogens für die komparative Evaluation.

Erweiterungsmodule

Je nach Fähigkeiten und Zeitaufwand für die obligatorischen Anforderungen kann der Prototyp um folgendes Erweitert werden:

Einbindung von wit.ai oder Google Dialogflow um „intelligent“ auf Texteingaben zu reagieren um vom Chat-Fragebogen zu einem Chat-Interview zu kommen.

Integrierte Webanwendung: Administration von Umfragen sowohl klassisch, Fragebogenbasiert, als auch Chat-Basiert erfolgt über ein gemeinsames Webinterface.

Automatische Transkription von Sprachnachrichten via Google Cloud oder AWS.

…

Evaluation

Siehe auch Zielsetzung. Für BA insbesondere Usability-Evaluation. Hier bedarf es einer Recherche nach sinnvollen und bewährten Methoden zur Evaluation von Chat-Interfaces. Für MA vergleich zwischen den beiden Erhebungsmethoden, vor allem quantitativ, aber auch mit Blick in die erhobenen Daten (qualitativ).

Erwartete Vorkenntnisse

Die meisten der folgenden Listenpunkte können schnell erlernt werden, außerdem handelt es sich um Vorschläge.

Python oder node.js

Optional: Django (damit wurden erste Vorarbeiten umgesetzt)

Weiterführende Quellen

Wildemuth, Barbara M.: Applications of Social Research Methods to Questions in Information and Library Science, ABC-CLIO, LLC 2017.

Carter, Scott und Jennifer Mankoff: „When participants do the capturing: the role of media in diary studies“, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, New York, NY, USA: Association for Computing Machinery 2005 (CHI ’05), S. 899–908.

Kaufmann, Katja und Corinna Peil: „The mobile instant messaging interview (MIMI): Using WhatsApp to enhance self-reporting and explore media usage in situ“, in: Mobile Media & Communication 8/2 (2020), S. 229–246, https://doi.org/10.1177/2050157919852392.

Hewson, Claire: „Qualitative Approaches in Internet-Mediated Research: Opportunities, Issues, Possibilities“, in: Leavy, Patricia (Hrsg.): The Oxford Handbook of Qualitative Research (2nd edn), Oxford University Press 2020.

Lazar, Jonathan, Jinjuan Heidi Feng und Harry Hochheiser: Research Methods in Human-Computer Interaction, Wiley Publishing 2010.

Zhang, He u. a.: „Ethnographic research in software engineering: a critical review and checklist“, Proceedings of the 2019 27th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering, New York, NY, USA: Association for Computing Machinery 2019 (ESEC/FSE 2019), S. 659–670.

Sohn, Timothy u. a.: „A Diary Study of Mobile Information Needs“, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, New York, NY, USA: ACM 2008 (CHI ’08), S. 433–442.

https://www.nngroup.com/articles/diary-studies/