Improving and Evaluating User Experience in Encoway CPQ Studio Using a LLM Chatbot: A Case Study

Encoway CPQ Studio ist eine Softwarelösung für die Konfiguration komplexer Produkte und Dienstleistungen, die es Unternehmen ermöglicht, maßgeschneiderte Angebote schnell und präzise zu erstellen. CPQ steht dabei für „Configure, Price, Quote“. Benutzerfreundlichkeit und Effizienz sind für solche Systeme entscheidend, da sie oft von Vertriebsmitarbeitern und Ingenieuren genutzt werden, die schnell auf Kundenanfragen reagieren müssen. In den letzten Jahren hat sich der Einsatz von Large Language Models (LLM) wie GPT als vielversprechend für die Verbesserung der Benutzerinteraktion mit komplexen Systemen herausgestellt. Diese Technologie bietet das Potenzial, die Bedienbarkeit zu vereinfachen und die Benutzererfahrung durch automatisierte Interaktionen und kontextbezogene Hilfestellungen zu verbessern. Die vorliegende Arbeit untersucht, inwieweit ein LLM-basierter Chatbot die User Experience (UX) von Encoway CPQ Studio verbessern kann.

Das Hauptziel der Arbeit besteht darin, die Benutzererfahrung (UX) im Encoway CPQ Studio durch den Einsatz eines Large Language Model (LLM)-basierten Chatbots zu verbessern. Dieser Chatbot wird Benutzern bei der Beantwortung von Fragen zu den Funktionen und Handbuchinformationen von CPQ-Studio helfen.

Eine Aufzählung der einzelnen Schritte:

• Entwicklung des Chatbots: Der Chatbot soll Aufgaben wie die Beantwortung von Benutzerfragen unterstützen.
• Usability-Tests: Durchführung von Tests mit realen Nutzern, um die Effektivität des Chatbots zu bewerten. Dabei werden qualitative und quantitative Daten zur UX gesammelt, z. B. durch Umfragen, Interviews oder durch die Analyse von Nutzungsdaten.
• Evaluation und Analyse: Auswertung der Testergebnisse, um herauszufinden, inwieweit der Chatbot die UX im CPQ Studio verbessert hat. Darstellung von Erfolgsfaktoren sowie möglichen Schwachstellen.

Vorkenntnisse in

• Java
• ML / Large Language Models
• Usability Testing

Tom Niederer, Daniel Schloss and Noemi Christensen (2023). Designing Context-Aware Chatbots for Product Configuratio https://www.researchgate.net/profile/Daniel-Schloss/publication/366095631_Designing_Context-Aware_Chatbots_for_Product_Configuration/links/6391b9b3484e65005bf45031/Designing-Context-Aware-Chatbots-for-Product-Configuration.pdf

Isabel Kathleen Fornell Haugeland, Asbjørn Følstad, Cameron Taylor, Cato Alexander Bjørkli (2022). Understanding the user experience of customer service chatbots: An experimental study of chatbot interaction design. https://www.sciencedirect.com/science/article/pii/S1071581922000179

Quarteroni, S., Manandhar, S (2007). A chatbot-based interactive question answering system.

Rongjja Liu, Zhanxun Dong (2019). A Study of User Experience in Knowledge-Based QA Chatbot Design. https://link.springer.com/chapter/10.1007/978-3-030-11051-2_89

Jason Telner (2021). Chatbot User Experience: Speed and Content Are King.https://link.springer.com/chapter/10.1007/978-3-030-80624-8_6