Vergleich eines crowdgesourcten Usability Tests mit einer Evaluation im Labor

Im Rahmen einer Grundlagenvorlesung haben Studienanfänger im Fach Medieninformatik einen Usabilitytest durchgeführt (=Crowdgesourcter Usability-Test). Der Test fand taskbasiert statt und hatte die Erhebung von Usability-Problemen zum Ziel. Die Studierenden nahmen die Rolle des Testleiters ein und beobachteten eine möglichst unerfahrenen Probanden bei der Aufgabenausführung. Ein Thinking loud Protokoll wurde angefertigt und mindestens drei Usability-Probleme spezifiziert. Die auf diese Art ermittelten Usability Probleme sollen im Rahmen einer BA Arbeit analysiert werden und die gesamte Methode soll mit einem Usability Test im Labor verglichen werden. Damit können Aussagen über so eine Form von crowdgesourcten Test gemacht werden.

Ziel der Arbeit ist es, die Methode „Crowdgesourcter Usabilitytest“ näher zu untersuchen im Vergleich zu einem klassichen Labortest. Hierzu sollen beide Methoden anhand geeigneter Maße aus der Literatur verglichen werden, wie beispielsweise Effektivität, Validität, Vollständigkeit (Hartson et al., 2001) U.a. sollen folgende Fragen beantwortet werden:

• Welcher Anteil an Problemen konnte durch den crowdgesourcten Test gefunden werden?
• Wieviele UP wurden mithilfe von beiden Methoden ermittelt?
• Wieviele UP in bestimmten Schweregraden?
• Wieviele UP in bestimmtenn Kategorien (Zuordnung z.B. in Usability-Heuristiken)

1.Recherche von Vergleichskriterien in der Literatur und Festlegen der für die Studie geeigneten Kriterien 2.Durchführung eines Usability-Tests im Labor

• Festlegen des Testdesigns (Demografische Daten der Probanden & Vorerfahrung ähnlich wie beim crowdgesourcten)
• Verwendung der gleichen Tasks (angepasst auf aktuelles Semester)
• Auswertung (muss in jedem Fall VOR der Analyse der crowgesourcten Tests stattfinden!)

3.Auswertung der Ergebnisse des crowdgesourcten Tests:

• Zusammenführen der Ergebnisse aller Tests
• Entfernen von Dubletten, Streichen von „unechten“ Problemen, Hinzufügen eines eigenen Severity Ratings
• Ergebnis: Liste aller im Test ermittelten Probleme

4.Vergleich und Gegenüberstellung der Ergebnisse beider Tests an

• Auswertung anhand der Vergleichkriterien aus der Literatur

nach Absprache mit dem Betreuer

Bruun, A., Gull, P., Hofmeister, L., & Stage, J. (2009). Let your users do the testing: a comparison of three remote asynchronous usability testing methods. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1619–1628). Retrieved from http://dl.acm.org/citation.cfm?id=1518948 Hartson HR, Andre TS, Williges RC. 2001. Criteria For Evaluating Usability Evaluation Methods. International Journal of Human-Computer Interaction 13(4):373-410. Wixon,D.(2003). Evaluating usability methods: Why the current literature fails the practitioner. Interactions 10, 4 (July 2003), 28-34.