Kleine Sprachmodelle schlagen große Modelle bei gezieltem Feintuning

Mit zunehmender Verbreitung generativer KI wird die Kostenoptimierung von Modellen zu einem entscheidenden Faktor für Nachhaltigkeit und Zugänglichkeit. Große Sprachmodelle (LLMs) bieten beeindruckende Fähigkeiten, erfordern jedoch enorme Rechenressourcen, die für den täglichen Einsatz in Unternehmen oft unerschwinglich sind. Deshalb richtet sich die Forschung verstärkt auf kleine Sprachmodelle (SLMs), die vergleichbare Leistungen in gezielten Anwendungen liefern und gleichzeitig die Infrastrukturbelastung drastisch reduzieren.

In der vorliegenden Studie wurde ein domänenangepasstes SLM trainiert, um typische Aufgaben zu übernehmen, die bisher von LLMs erledigt wurden – etwa Dokumentensummarien, Fragenbeantwortung und die Interpretation strukturierter Daten. Dabei wurde das facebook/opt-350m-Modell – ein 350‑Millionen‑Parameter-Modell von Meta AI – einmalig mit dem Hugging‑Face‑TRL‑Framework (Supervised Fine‑Tuning) feinjustiert. Die Ergebnisse zeigen, dass das feinjustierte SLM mit einer Passrate von 77,55 % bei der ToolBench‑Evaluation deutlich besser abschneidet als alle bisherigen Baselines.

Diese Erkenntnisse unterstreichen, dass selbst Modelle in der Größenordnung von 350 M Parametern durch gezieltes Feintuning einen wesentlichen Beitrag zu effizienten, kostengünstigen KI‑Workflows leisten können. Für Unternehmen bedeutet das: Mit kleineren Modellen lassen sich leistungsfähige, skalierbare Anwendungen realisieren, ohne die hohen Betriebskosten großer LLMs zu tragen.