LLMs als Datengeneratoren: Kleine Modelle übertreffen große Klassifikatoren

Neues Forschungsergebnis aus dem Bereich der künstlichen Intelligenz zeigt, dass große Sprachmodelle (LLMs) nicht nur als Klassifikatoren eingesetzt werden sollten, sondern vor allem als leistungsstarke Generatoren von synthetischen Daten fungieren. Durch die Erzeugung von Trainingsbeispielen in 11 Sprachen und vier Klassifikationsaufgaben konnten kleinere Modelle trainiert werden, die in vielen Fällen die Leistung der ursprünglichen, massiven LLMs übertreffen.

Die Studie nutzt ein hochmodernes multilinguales LLM, um synthetische Datensätze zu erzeugen. Diese Daten dienen anschließend als Grundlage für das Feintuning oder die Instruktionstuning kleinerer Modelle. Alternativ werden sie als in‑Context-Beispiele für kompakte LLMs verwendet. Die Experimente zeigen, dass selbst begrenzte Mengen an synthetischen Daten ausreichen, um in ressourcenarmen Sprachen eine überlegene Klassifikationsleistung zu erzielen.

Die Ergebnisse legen nahe, dass LLMs am effektivsten als „Lehrer“ eingesetzt werden: Sie generieren qualitativ hochwertige Trainingsmaterialien, die es kleineren, effizienteren Modellen ermöglichen, in einer Vielzahl von Sprachen und Aufgaben zu glänzen. Diese Erkenntnis eröffnet neue Perspektiven für die Entwicklung von KI-Systemen in Bereichen, in denen menschlich gelabelte Daten knapp sind.