Agent Skill Framework: Kleine Sprachmodelle in Industrieumgebungen erfolgreich einsetzen

Das Agent Skill Framework, das inzwischen von großen Akteuren wie GitHub Copilot, LangChain und OpenAI offiziell unterstützt wird, hat sich besonders bei proprietären Modellen bewährt. Durch gezielte Kontextoptimierung reduziert es Halluzinationen und steigert die Aufgabenpräzision erheblich.

In einer aktuellen Untersuchung wurde geprüft, ob das Agent Skill Paradigma auch für kleine Sprachmodelle (SLMs) ähnliche Vorteile bietet. Diese Frage ist in industriellen Szenarien von entscheidender Bedeutung, in denen die kontinuierliche Nutzung öffentlicher APIs aus Sicherheits- und Kostengründen nicht möglich ist und SLMs oft in hochgradig angepassten Umgebungen nur begrenzte Generalisierung zeigen.

Die Studie führt zunächst eine formale mathematische Definition des Agent Skill Prozesses ein und bewertet anschließend Sprachmodelle unterschiedlicher Größenordnung anhand mehrerer Anwendungsfälle. Dazu gehören zwei Open-Source-Aufgaben sowie ein realitätsnahes Datenset aus der Versicherungsbranche.

Die Ergebnisse zeigen, dass winzige Modelle Schwierigkeiten haben, zuverlässig die passenden Fähigkeiten auszuwählen. Moderat große SLMs mit etwa 12 bis 30 Milliarden Parametern profitieren jedoch deutlich vom Agent Skill Ansatz. Noch beeindruckender sind die Code-spezialisierten Varianten mit rund 80 Milliarden Parametern, die Leistungen erreichen, die mit geschlossenen Baselines vergleichbar sind, und gleichzeitig die GPU-Effizienz verbessern.

Insgesamt liefert die Arbeit ein umfassendes Bild der Möglichkeiten und Grenzen des Agent Skill Frameworks und gibt praxisnahe Empfehlungen für den Einsatz von Agent Skills in SLM-zentrierten Umgebungen.