Effiziente Klassifizierung großer Textkorpora: LLMs auf Budget

Große Sprachmodelle (LLMs) liefern zwar erstklassige Klassifikationsleistungen, doch die damit verbundenen Rechen- und Kostenbelastungen erschweren ihre breite Anwendung. Knowledge Distillation (KD) bietet eine Lösung, indem ein leistungsstarker LLM‑Lehrer ein kleineres, effizienteres Schülermodell trainiert. Das Problem bleibt jedoch, dass der Distillationsprozess selbst teuer wird, weil der Lehrer eine enorme Menge an Daten beschriften muss und dabei viele Tokens verbraucht.

Um diese Kosten zu senken, nutzt die neue Studie aktive Lernmethoden (AL). Dabei wählt ein intelligenter Algorithmus gezielt die wichtigsten Beispiele aus, die der LLM beschriften soll. Der vorgestellte M‑RARU‑Algorithmus (Multi‑class Randomized Accept/Reject Uncertainty Sampling) kombiniert Unsicherheitsmessungen mit einem zufälligen Akzeptanz‑/Ablehnungsmechanismus, um nur die informativsten Datenpunkte zu selektieren. Dadurch werden API‑Aufrufe und Verarbeitungszeit drastisch reduziert.

In umfangreichen Tests wurde M‑RARU gegen zufällige Stichproben auf fünf unterschiedlichen Schülermodellen (SVM, LDA, RF, GBDT und DistilBERT) in mehreren Benchmark‑Datensätzen evaluiert. Die Ergebnisse zeigen, dass M‑RARU bis zu 80 % weniger Trainingsproben benötigt, die Klassifikationsgenauigkeit verbessert und gleichzeitig die finanziellen Kosten sowie die Gesamttrainingszeit erheblich senkt.