Die Vorstellung des bekannten BERT-Papers von Devlin et al. hat im Jahr 2019 eine kleine Revolution im NLP-Bereich ausgelöst. Denn im Vergleich zu anderen Deep Learning-Modellen kann BERT mit Hilfe seines Self-Attention-Mechanismus Wortbedeutungen und Kontext besser erfassen. Dadurch konnten bis dato aktuelle State-of-the-Art-Modelle, etwa im Bereich des Question Answering und der Sentiment Analyse, bei weitem übertroffen werden. Während der Fokus zu Beginn hauptsächlich auf englischen BERT-Modellen lag, gibt es diese mittlerweile auch für die französische (CamemBERT) und deutsche (GermanBERT) Sprache. Solche Modelle sind meistens auf der Wikipedia und Nachrichtenartikeln trainiert, d.h. sie bilden das Vokabular und den Kontext in dieser Textform entsprechend gut ab. Möchte man BERT für bestimmte Domänen, wie z.B. das Kochen, nutzen, fehlt Information über domänenspezifisches Vokabular und deren (kontextueller) Verwendung, was sich möglicherweise negativ auf die Performance auswirkt. Im Rahmen einer Abschlussarbeit soll für die Kochdomäne ein bereits bestehendes BERT Modell mit zusätzlichem, domänenspezifischem Wissen (Konversationen beim Kochen) via domain-adaptive pre-training angereichert werden. Darüber hinaus soll überprüft werden, ob das weiter trainierte Modell im Vergleich zu anderen, bestehenden BERT-Modellen zu einer Verbesserung bei Klassifikationsaufgaben im Kochbereich, wie der Vorhersage von Informationsbedürfnissen während des Kochens, führt oder nicht.
Ziel der Arbeit ist das Weitertrainieren eines bestehenden BERT Modells auf domänenspezifisches Wissen zu Kochkonversationen, um die Performance für Aufgaben von Küchen-Konversationsassistenten zu verbessern.
Python, Deep Learning, NLP