Vergleich eines crowdgesourcten Usability Tests mit einer Evaluation im Labor

Im Rahmen einer Grundlagenvorlesung haben Studienanfänger im Fach Medieninformatik einen Usabilitytest durchgeführt (=Crowdgesourcter Usability-Test). Der Test fand taskbasiert statt und hatte die Erhebung von Usability-Problemen zum Ziel. Die Studierenden nahmen die Rolle des Testleiters ein und beobachteten eine möglichst unerfahrenen Probanden bei der Aufgabenausführung. Ein Thinking loud Protokoll wurde angefertigt und mindestens drei Usability-Probleme spezifiziert. Die auf diese Art ermittelten Usability Probleme sollen im Rahmen einer BA Arbeit analysiert werden und die gesamte Methode soll mit einem Usability Test im Labor verglichen werden. Damit können Aussagen über so eine Form von crowdgesourcten Test gemacht werden.

Ziel der Arbeit ist es, die Methode „Crowdgespurcter Usabilitytest“ näher zu untersuchen im Vergleich zu einem klassichen Labortest. Hierzu sollen beide Methoden anhand geeigneter Maße aus der Literatur verglichen werden, wie beispielsweise Effektivität, Validität, Vollständigkeit (Hartson, 2003) U.a. sollen folgende Fragen beantwortet werden:

• Welcher Anteil an Problemen konnte durch den crowgesourcten Test gefunden werden?
• Wieviele UP wurden von den Anfängern ermittelt im Vergleich zum Expertentest?
• Wieviele UP in bestimmten Schweregraden?
• Wieviele UP in bestimmtenn Katgorien (Zuordnugn zu Heuristiken)

1.Recherche von Vergleichskriterien in der Literatur und Festlegen der für die Studie geeigneten kriterien 2.Durchführung eines Usability-Tests im Labor

• Festlegen des Testdesign (Demografische Daten der Probanden & Vorerfahrung ähnlich wie beim crowdgesourcten)
• Verwendung der gleichen Tasks (angepasst auf aktuelles Semester)
• Auswertung (muss in jedem Fall VOR der Analyse der crowgesourcten Tests stattfinden!)

3.Auswertung der Ergebnisse des crowdgesourcten Tests:

• Zusammenführen der Ergebnisse aller Tests
• Entfernen von Dubletten, Streichen von „unechten“ Problemen, Hinzufügen eines eigenen Severity Ratings
• Ergebnis: Liste aller im Test ermittelten Probleme

4.Vergleich und Gegenüberstellung der Ergebnisse beider Tests an

• Auswertung anhand der Vergleichkriterien aus der Literatur

nach Absprache mit dem Betreuer

Bruun Hartson Wixon