Usability der Fehlerdarstellung in unterschiedlichen Werkzeugen zur automatisierten Apiprüfung

Hintergrund

Die Verwendung von APIs nimmt immer weiter zu. Moderne Webseiten bieten diese häufig an, müssen jedoch auch zuverlässig sein. Hierfür gibt es verschiedene Tools, mit denen sich entsprechende Tests automatisieren lassen. Für Entwickler ist es daher zielführend, wenn Fehlermeldungen innerhalb dieser Tools gut verständlich sind. Diese Arbeit wird in Zusammenarbeit mit der Firma Omniga (https://omniga.de/) durchgeführt.

Zielsetzung der Arbeit

Es soll herausgefunden werden, welche Inhalte eine Fehlermeldung haben sollte, um gut verständlich zu sein.

Konkrete Aufgaben

Drei unterschiedliche Tools, welche einen unterschiedlichen Stil in den Fehlermeldungen haben, miteinander vergleichen (SoapUI, JMeter, Postman)

Einen umfangreichen API Test schreiben

Umfrage erstellen, indem die Fehlermeldungen miteinander verglichen werden

Probanden bestehend aus Studenten und Entwicklern (der Firma Omniga) akquirieren

Auswertung der Umfrage

Erwartete Vorkenntnisse

Gute Kenntnisse der einzelnen Tools (SoapUI, JMeter, Postman)

Grundlegende Kenntnisse in Java, oder einer anderen vergleichbaren Sprache

Grundlegende Kenntnisse in der Erstellung einer Umfrage

Weiterführende Quellen

Umfrage Tool: https://account.limesurvey.org/

SoapUI: https://www.soapui.org/

JMeter: https://jmeter.apache.org/

Postman: https://www.postman.com/

Marceau, G., Fisler, K., & Krishnamurthi, S. (2011, March). Measuring the effectiveness of error messages designed for novice programmers. In Proceedings of the 42nd ACM technical symposium on Computer science education (pp. 499-504).

Barik, T., Smith, J., Lubick, K., Holmes, E., Feng, J., Murphy-Hill, E., & Parnin, C. (2017, May). Do developers read compiler error messages?. In 2017 IEEE/ACM 39th International Conference on Software Engineering (ICSE) (pp. 575-585). IEEE.

Brown, N. C., & Altadmri, A. (2017). Novice Java programming mistakes: Large-scale data vs. educator beliefs. ACM Transactions on Computing Education (TOCE), 17(2), 1-21.

Hartmann, B., MacDougall, D., Brandt, J., & Klemmer, S. R. (2010, April). What would other programmers do: suggesting solutions to error messages. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1019-1028).