CookBERT – Cooking with BERT

Die Vorstellung des bekannten BERT-Papers von Devlin et al. hat im Jahr 2019 eine kleine Revolution im NLP-Bereich ausgelöst. Denn im Vergleich zu anderen Deep Learning-Modellen kann BERT mit Hilfe seines Self-Attention-Mechanismus Wortbedeutungen und Kontext besser erfassen. Dadurch konnten bis dato aktuelle State-of-the-Art-Modelle, etwa im Bereich des Question Answering und der Sentiment Analyse, bei weitem übertroffen werden. Während der Fokus zu Beginn hauptsächlich auf englischen BERT-Modellen lag, gibt es diese mittlerweile auch für die französische (CamemBERT) und deutsche (GermanBERT) Sprache. Solche Modelle sind meistens auf der Wikipedia und Nachrichtenartikeln trainiert, d.h. sie bilden das Vokabular und den Kontext in dieser Textform entsprechend gut ab. Möchte man BERT für bestimmte Domänen, wie z.B. das Kochen, nutzen, fehlt Information über domänenspezifisches Vokabular und deren (kontextueller) Verwendung, was sich möglicherweise negativ auf die Performance auswirkt. Im Rahmen einer Abschlussarbeit soll für die Kochdomäne ein bereits bestehendes BERT Modell mit zusätzlichem, domänenspezifischem Wissen (Konversationen beim Kochen) via domain-adaptive pre-training angereichert werden. Darüber hinaus soll überprüft werden, ob das weiter trainierte Modell im Vergleich zu anderen, bestehenden BERT-Modellen zu einer Verbesserung bei Klassifikationsaufgaben im Kochbereich, wie der Vorhersage von Informationsbedürfnissen während des Kochens, führt oder nicht.

Ziel der Arbeit ist das Weitertrainieren eines bestehenden BERT Modells auf domänenspezifisches Wissen zu Kochkonversationen, um die Performance für Aufgaben von Küchen-Konversationsassistenten zu verbessern.

• Erstellen eines unbeschrifteten Textkorpus mit Kochkonversationen, mit welchem BERT weiter trainiert werden soll.
• Anreichern eines bestehenden Modells mit den gesammelten, domänenspezifischen Daten
• Finetunen des erstellten Modells auf bestimmte Aufgaben, die für Küchen-Konversationsassistenten relevant sind
• Vergleichen der Performance des neuen Models mit bereits bestehenden

Python, Deep Learning, NLP

• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018, October 11). BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding. http://arxiv.org/pdf/1810.04805v2
• Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019, May 14). How to Fine-Tune BERT for Text Classification? http://arxiv.org/pdf/1905.05583v3
• Gururangan, S., Marasović, A., Swayamdipta, S., Lo Kyle, Beltagy, I., Downey, D., Smith, N. (2020): Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. http://arxiv.org/pdf/2004.10964v3
• Frummet, A., Elsweiler, D., Ludwig, B. (2019). Detecting domain-specific information needs in conversational search dialogues.
• Schwabl, P. (2021). Classifying user information needs in cooking dialogues – an empirical performance evaluation of transformer networks. Universität Regensburg.