Effiziente Klassifizierung großer Textkorpora: LLMs auf Budget
Große Sprachmodelle (LLMs) liefern zwar erstklassige Klassifikationsleistungen, doch die damit verbundenen Rechen- und Kostenbelastungen erschweren ihre breite Anwendung. Knowledge Distillation (KD) bietet eine Lösung, indem ein leistungsstarker LLM‑Lehrer ein kleineres, effizienteres Schülermodell trainiert. Das Problem bleibt jedoch, dass der Distillationsprozess selbst teuer wird, weil der Lehrer eine enorme Menge an Daten beschriften muss und dabei viele Tokens verbraucht.
