Natural Language Processing und Large Language Models: C ... / 2.2.2 Textklassifikation

Mit Hilfe von NLP können Texte automatisiert beliebigen Klassen (nicht nur positiv und negativ wie bei der Sentiment-Analyse) zugeordnet werden. Z. B. könnten Texte wie Nachrichtenartikel in bestimmte Risikokategorien klassifiziert werden (neue Regularien, Streiks, Störungen der Lieferketten etc.), um so effektiv und in Echtzeit eine Risikobewertung der aktuellen Situation vornehmen zu können. Dies ist grundsätzlich ohne Trainingsdaten mit der sogenannten Zero-Shot-Klassifikation möglich.^[1] Will man jedoch eine hohe Klassifikationsgüte erreichen, setzt man auf Fine-tuning von LLMs. Dabei werden vortrainierte LLMs, die bereits gute Sprachfähigkeiten besitzen, mit Trainingsdaten (Texte samt dazugehörigen Klassen) gefüttert und damit nachtrainiert. Sind die Trainingsdaten hinreichend gut und umfangreich, kann das Modell nach dem Training mit hoher Genauigkeit bisher unbekannte Texte klassifizieren. Mittlerweile ist die Entwicklung von LLMs so weit fortgeschritten, dass in etwa 100 Beispiele pro Klasse ausreichen, um einfache Klassifikationsaufgaben zu automatisieren.

[1] Zero-Shot-Klassifikation ist eine Methode des Machine Learnings, welche es ermöglicht, Daten in mehrere Kategorien zu klassifizieren, ohne dass ein explizites Training für jede einzelne Kategorie erforderlich ist. In klassischen Klassifikationsmodellen wird das Modell auf einer spezifischen Menge von gelabelten Daten trainiert, und dadurch kann es nur neue Daten in diese spezifischen Kategorien klassifizieren. Bei der Zero-shot-Klassifikation kann das Modell jedoch neue Daten in eine größere Menge von Kategorien klassifizieren, für die es nicht explizit trainiert wurde.