Einfluss unterschiedlicher Testsituationen auf die Usability-Wahrnehmung und die User Experience - Ein Vergleich zwischen Laborsituation und synchronen Remote-Setups

Hintergrund

Durch die bisher anhaltenden Einschränkungen der Corona Pandemie, werden remote durchgeführte Studien in der nächsten Zeit verstärkt publiziert werden. Studien aus dem ersten Jahrzehnt des neuen Jahrtausends nutzen veraltete Technik, im Hinblick auf die verwendeten Programme, als auch was mit den Möglichkeiten des Internets beziehungsweise der Verfügbaren Bandbreite. Zudem sind die Methodenvergleiche stark zerklüftet. Bei Remote Evaluationen lassen sich eigentlich alle Techniken der Usability Evaluation vollständig digitalisieren und auch räumlich und zeitlich entkoppeln. Hierbei spricht von synchronen und asynchronen Remote Tests. Bei synchronen Remote Tests sind Testleiter und Teilnehmer zwar räumlich getrennt, jedoch ist der Testleiter während des Tests anwesend, es handelt sich also nur um eine räumliche Trennung [6]. Bei asynchronen Remote Tests sind beide räumlich getrennt und der Testleiter erhält nur die erhobenen Daten und ist während der Erhebung nicht anwesend, also eine räumliche als auch zeitliche Trennung [6].
Remote Methoden sagen nichts darüber aus welche Daten auf welche Art und Weise erhoben werden, sondern betreffen in erster Linie die Testsituation. Die unterschiedlichen Evaluationstechniken der Usability lassen sich für diese Erhebungsmethoden nutzen. Wichtig ist dabei die Validität, Effizienz und Effektivität der Durchführungsmethoden zu evaluieren, damit setzen sich auch schon mehrere Studien auseinander [1, 2, 3, 4, 6, 7].
Diese Studien untersuchen etwa welche Erhebungstechnik besser für synchrone oder asynchrone Techniken geeignet sind oder welche Ergebnisse eine Technik in der Remote Durchführung im Vergleich zu einer Durchführung im Labor liefern. Die einzelnen Erhebungstechniken und Werkzeuge müssen also immer wieder evaluiert werden, um den Unterschied zwischen Erhebungstechnik und Werkzeug kurz zu erläutern, eine Erhebungstechnik wäre etwa ein Fragebogen, welcher nach einem Test ausgefüllt werden soll, ein Werkzeug wäre hierfür entweder der Fragebogen auf Papier ausgedruckt oder ein Programm, den Fragebogen darstellt, hinzu kommt natürlich auch welcher Fragebogen gewählt wird.

Zielsetzung der Arbeit

Im Hinblick auf Usability Evaluationen sind Aufnahmen der Bildschirms und des Studienteilnehmers interessant, um diese in Remote Studien zu erfassen, werden weitere Werkzeuge / Programme benötigt, welche auf dem Gerät an dem die Studie durchgeführt wird installiert werden müssen. Dieser Arbeitsaufwand auf Seiten der Teilnehmer unterscheidet diese Remote Studien vom klassischen Labor Setup. Hinzu kommt das Erlauben des Zugriffs auf die Privatsphäre, durch das Aufzeichnen des Bildschirms und einem selbst. Die beiden Aspekte, der Eingriff in die Privatsphäre als auch die der Arbeitsaufwand fanden bisherigen Arbeiten wenig Beachtung und sollen im folgenden genauer untersucht werden. Die beiden Punkte könnten sich nicht nur auf die Usability Wahrnehmung sondern auch auf die User Experience auswirken. Aus diesem Grund, und da bisher die User Experience im Kontext von Remote Evaluationen gefunden hat, wird diese in der folgenden Arbeit analysiert.

Konkrete Aufgaben

Die unabhängige Variable ist hierbei die Durchführungsmethode, welche in drei unterschiedlichen Varianten vorliegt. Hierbei dient die Laborstudie dazu einen Vergleichswert für die anderen Studien generieren zu können. In einem remote Setup müssen die Teilnehmer ein Screen-Sharing Programm installieren und dem Testleiter erlauben den Bildschirm während des Tests aufzuzeichnen. Im zweiten remote Setup teilt der Testleiter seinen Bildschirm und lässt den Teilnehmer, die Aufgaben auf dem Computer des Testleiters bearbeiten. Hierfür sind pro Ausprägung 15 Teilnehmer vorgesehen. Diese werden zwei summative Usability Tests durchführen und Fragebögen dazu beantworten, die erhobenen quantitativen Daten werden mit einem qualitativen Interview weiter beleuchtet. Die erhobenen Daten werden analysiert, dabei wird auch eine Varianzanalyse für die Schwankungen in den Daten der einzelnen Erhebungsmethoden durchgeführt. Da nicht nur die Studienteilnehmer von diesen Änderungen betroffen sind, sondern der Eingriff in die Privatsphäre nun auf Seite des Testleiters erfolgt, soll diese Gruppe mittels Interviews analysiert werden.

Erwartete Vorkenntnisse

TBD

Weiterführende Quellen

[1] Morten S. Andreasen, Henrik V. Nielsen, Simon O. Schrøder, and Jan Stage. 2007. What happened to remote usability testing? In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems - CHI '07. ACM Press, New York, New York, USA, 1405–1414. DOI: https://doi.org/10.1145/1240624.1240838. [2] Chris Andrzejczak and Dahai Liu. 2010. The effect of testing location on usability testing performance, participant stress levels, and subjective testing experience. Journal of Systems and Software 83, 7, 1258–1266. DOI: https://doi.org/10.1016/j.jss.2010.01.052. [3] A. B. Brush, Morgan Ames, and Janet Davis. 2004. A comparison of synchronous remote and local usability studies for an expert interface. In Extended abstracts of the 2004 conference on Human factors and computing systems - CHI '04. ACM Press, New York, New York, USA, 1179. DOI: https://doi.org/10.1145/985921.986018. [4] Anders Bruun, Peter Gull, Lene Hofmeister, and Jan Stage. 2009. Let your users do the testing. In Proceedings of the 27th international conference on Human factors in computing systems - CHI 09. ACM Press, New York, New York, USA, 1619. DOI: https://doi.org/10.1145/1518701.1518948. [5] Batya Friedman, Peter H. Kahn, and Alan Borning. 2008. Value Sensitive Design and Information Systems. In The Handbook of Information and Computer Ethics, Kenneth E. Himma and Herman T. Tavani, Eds. John Wiley & Sons, Inc, Hoboken, NJ, USA, 69–101. DOI: https://doi.org/10.1002/9780470281819.ch4. [6] H. R. Hartson, José C. Castillo, John Kelso, and Wayne C. Neale. 1996. Remote evaluation. In Proceedings of the SIGCHI conference on Human factors in computing systems common ground - CHI '96. ACM Press, New York, New York, USA, 228–235. DOI: https://doi.org/10.1145/238386.238511.
[7] Tom Tullis, Stan Fleischman, McNulty, Michelle, Cianchette, Carrie, and Marguerite Bergel. 2002. An Empirical Comparison of Lab and Remote Usability Testing of Web Sites. In Proceedings of Usability Professionals Conference.