Neue Methode quantifiziert die Konstruktvalidität von LLM-Benchmarks

In der Welt der großen Sprachmodelle (LLMs) werden Benchmark-Ergebnisse häufig als direkte Messgröße für die generelle Leistungsfähigkeit der Modelle interpretiert. Doch diese Annahme birgt Risiken: Testdatensätze können kontaminiert sein, und menschliche Annotatoren können Fehler einbringen. Die Frage, ob ein Benchmark tatsächlich ein zuverlässiges Indiz für die gewünschte Fähigkeit eines Modells ist, steht daher im Fokus.

Wissenschaftler aus den Bereichen Sozialwissenschaft und Informatik haben bisher zwei Hauptansätze verfolgt: latente Faktormodelle und Skalierungs­gesetze. Latente Modelle vernachlässigen jedoch die Skalierung, sodass die extrahierten Fähigkeiten oft lediglich die Modellgröße widerspiegeln. Skalierungs­gesetze ignorieren Messfehler, was zu uninterpretablen und überangepassten Ergebnissen führt.

Die vorliegende Arbeit präsentiert das „structured capabilities model“, das erstmals in der Lage ist, interpretierbare und generalisierbare Fähigkeiten aus einer großen Sammlung von Benchmark-Ergebnissen zu extrahieren. Durch die Trennung von Modellgröße und Fähigkeiten liefert das Modell klarere Einblicke in die tatsächlichen Kompetenzen von LLMs.

In umfangreichen Tests mit Daten vom OpenLLM Leaderboard übertrifft das strukturierte Modell latente Faktormodelle hinsichtlich parsimonierender Anpassungsmaße und liefert zudem bessere Vorhersagen für Benchmarks außerhalb des Trainingsdatensatzes als Skalierungs­gesetze. Diese Verbesserungen resultieren aus der Fähigkeit des Modells, Modellgröße und echte Fähigkeiten sauber zu differenzieren.