Integrating LLM-based Applications into the Day-to-Day Student Learning Experience

Die heutige Studierendengeneration ist in einer von Digitalisierung geprägten Welt aufgewachsen, in der der Zugang zu und die Nutzung von digitalen Medien und Technologien einen selbstverständlichen Bestandteil ihres Lebens darstellen. Diese digitale Affinität zeigt sich nicht nur in ihren Alltagsaktivitäten, sondern auch in ihren Lernpraktiken. Universitäten haben diesen Wandel bereits seit einiger Zeit erkannt und setzen vermehrt auf digitale Lernplattformen wie zum Beispiel „GRIPS“ an der Universität Regensburg. Hier werden Vorlesungsfolien, Lernmaterialien und weiterführende Literatur digital zugänglich gemacht. Selbst die Mitschriften während Vorlesungen werden heutzutage hauptsächlich am Laptop verfasst, was den digitalen Fokus im universitären Umfeld unterstreicht.

Die COVID-19-Pandemie hat diesen digitalen Trend an Universitäten weiter verstärkt. Durch die Notwendigkeit von Fernunterricht und virtuellen Kursen wurde die Digitalisierung im Bildungsbereich intensiviert. Die Organisation und effektive Nutzung dieser digitalen Materialien stellen eine fortlaufende Herausforderung dar, die es zu bewältigen gilt. In diesem Kontext wird deutlich, dass Studierende eine Anwendung benötigen, die es ihnen ermöglicht, ihre digitalen Vorlesungsdateien effizient zu organisieren und optimal zu nutzen.

Die geplante LLM-basierte Anwendung, die im Rahmen meiner Masterarbeit entwickelt werden soll, reagiert auf diese Anforderungen, indem sie eine Plattform bereitstellen wird. Studierende können nicht nur ihre digitalen Vorlesungsunterlagen hochladen und organisieren, sondern auch von fortschrittlichen Language Models profitieren. Diese Modelle sollen automatisch personalisierte Zusammenfassungen generieren und Lernquizzes bzw. Frage-Antwort-Paare auf Basis der hochgeladenen Daten erstellen, um beim Lernen zu unterstützen. Studierende sollen zusätzlich die Möglichkeit haben, Fragen zu ihren Lernmaterialien zu stellen. Die angestrebte Anwendung soll somit nicht nur die effektive Organisation, sondern auch die individualisierte Interaktion mit dem Lernmaterial fördern. Dieser innovative Ansatz entspricht den sich rasant verändernden Lernpraktiken und bietet eine vielversprechende Lösung für die Bedürfnisse einer digital-affinen Studierendengeneration.

Die Masterarbeit zielt darauf ab, eine LLM (Language Model)-basierte Anwendung zu entwickeln, die den Alltag der Studierenden im Lernprozess bereichert. Die Kernfunktionalitäten umfassen das Hochladen von Vorlesungsfolien, Mitschriften und anderen relevanten Ressourcen. Das LLM soll als Question-Answering-System fungieren, um Fragen zu den hochgeladenen Materialien zu beantworten. Zudem strebt die Anwendung an, automatisch generierte Zusammenfassungen von Vorlesungen zu erstellen. Eine weitere Teil der Arbeit ist die Integration einer Quizfunktion, die den Studierenden ermöglichen, ihr Wissen durch interaktive Lernmethoden zu vertiefen. Die Anwendung soll individuelle Quizfragen generieren und den Studierenden die Möglichkeit bieten, daraus zu lernen. Ziel ist es, eine personalisierte Lernerfahrung zu schaffen, die das Hochladen von Materialien, das Beantworten von Fragen durch das LLM, die automatische Zusammenfassung von Vorlesungen und interaktive Quizmöglichkeiten umfasst.

Der Schwerpunkt der Arbeit liegt auf der Evaluation. Dabei soll untersucht werden, wie effektiv Open-Source LLMs arbeiten und ob sie beispielsweise mit den Modellen von OpenAI mithalten können. Des Weiteren wird betrachtet, ob es sinnvoll ist, eine Lernanwendung ausschließlich unter Verwendung von Open-Source-Modellen und -Bibliotheken zu erstellen, ohne externe Dienste einzubeziehen. Dabei werden sowohl die Vor- als auch die Nachteile herausgearbeitet. Neben der Qualität der Antworten sollen auch Aspekte wie Datenschutz kritisch betrachtet werden.

1.Literaturrecherche

• Was ist der aktuelle Forschungsstand?
• Wo liegen die Defizite bei bereits existierenden Applikationen?
• Welche Large Language Models sollen verwendet werden?
• Welches Embedding Model ist sinnvoll für Data Ingestion & Processing?
• Welche Frameworks und Bibliothek sollen verwendet werden? (wie z.B. langchain, FAISS vectorstore, etc.)
• Welche Evaluationsmethoden sind sinnvoll?

2.Entwicklung der LLM-Anwendung:

• Data Ingestion & Processing: Implementierung der Funktionen zum Hochladen von Vorlesungsfolien, Mitschriften, e-Books usw.
• Verarbeitung der Dateien & Integration eines Embedding Models.
• Text Generation Pipeline: Integration von Large Language Modellen für Frage-Antwort- und Zusammenfassungsgenerierung.
• Entwicklung eines einfachen User Interfaces (Streamlit).

3.Evaluation der Language Models (LLMs):

• Durchführung umfassender Evaluierungen.
• Bewertung der Leistungsfähigkeit von Open Source LLMs bezüglich verschiedener Faktoren.
• Vergleich der Leistungsfähigkeit und Einsatzmöglichkeiten von Open-Source LLMs mit den Modellen von OpenAI sowie spezifische Vor- und

Nachteile.

Für die erfolgreiche Bearbeitung dieser Masterarbeit sind folgende Vorkenntnisse von Vorteil:

• Grundlegende Kenntnisse im Bereich maschinelles Lernen und Natural Language Processing.
• Erfahrung in der Entwicklung von Chatbot-Anwendungen oder ähnlichen digitalen Lösungen.
• Vertrautheit mit Large Language Modellen und deren Integration in Softwareprojekte.
• Kenntnisse in der Programmiersprache Python, NLP-Techniken sowie in den Bibliotheken langchain, FAISS und Streamlit.

• Auffarth, B. (2023). Generative AI with LangChain: Build Large Language Model (LLM) Apps with Python, ChatGPT, and Other LLMs. Packt Publishing.
• Colace, F., et al. (2018). Chatbot for E-Learning: A Case of Study. International Journal of Mechanical Engineering and Robotics Research, 7(5), 528 – 533.
• Gao, Y., et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University; Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University; College of Design and Innovation, Tongji University; School of Computer Science, Fudan University.
• Gozalo-Brizuela, R., & Garrido-Merchán, E. C. (2023). ChatGPT is not all you need: A State of the Art Review of large Generative AI models. Quantitative Methods Department, Universidad Pontificia Comillas, Madrid, Spain.
• Topsakal, O., & Akinci, T. C. (2023). Creating Large Language Model Applications Utilizing LangChain: A Primer on Developing LLM Apps Fast. In Proceedings of the 5th International Conference on Applied Engineering and Natural Sciences, 1050 - 1056.
• Touvron, H., et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. GenAI, Meta.