SkillsBench: Benchmark zeigt Wirkung von Agentenfähigkeiten auf 86 Aufgaben

Die neue Studie von SkillsBench liefert erstmals ein standardisiertes Messinstrument, um zu prüfen, ob strukturierte Agentenfähigkeiten – also kompakte Pakete aus prozeduralem Wissen – tatsächlich die Leistung von großen Sprachmodellen (LLMs) verbessern. Das Benchmark umfasst 86 Aufgaben aus 11 unterschiedlichen Domänen, die jeweils mit sorgfältig kuratierten Skills und deterministischen Prüfern ausgestattet sind.

Jede Aufgabe wird unter drei Bedingungen getestet: ohne Skills, mit kuratierten Skills und mit selbst generierten Skills. In insgesamt 7.308 Trajektorien, die 7 Agenten-Modelle abdecken, zeigen die Ergebnisse, dass kuratierte Skills die durchschnittliche Erfolgsquote um 16,2 Prozentpunkte steigern. Der Nutzen variiert stark je nach Fachgebiet – von 4,5 pp im Bereich Software Engineering bis zu 51,9 pp im Gesundheitswesen – und 16 der 84 Aufgaben weisen sogar negative Effekte auf.

Selbst generierte Skills bringen im Durchschnitt keinen Mehrwert, was darauf hindeutet, dass Modelle das prozedurale Wissen, das sie nutzen, nicht zuverlässig selbst erstellen können. Interessanterweise übertreffen fokussierte Skills, die aus nur zwei bis drei Modulen bestehen, umfangreiche Dokumentationen, und kleinere Modelle können mit Skills die Leistung größerer Modelle ohne Skills erreichen.