ATLAS: Adaptive Tests revolutionieren die Bewertung von Sprachmodellen

Die Bewertung großer Sprachmodelle (LLMs) wird mit ATLAS neu definiert. Das adaptive Testframework nutzt die Item Response Theory (IRT), um die Modellleistung anhand von gezielt ausgewählten Testitems zu schätzen. Dadurch werden die üblichen, statischen Benchmark-Sets, die tausende Items enthalten, drastisch reduziert – bis zu 90 % weniger Fragen, ohne Genauigkeit zu verlieren.

In einer Analyse von fünf führenden Benchmarks zeigte ATLAS, dass 3 – 6 % der Items sogar negative Diskriminationswerte aufweisen, was auf Annotationsfehler hinweist. Durch die IRT‑gestützte Item-Auswahl werden solche fehlerhaften Fragen automatisch gemieden, sodass die Messgenauigkeit erhalten bleibt. Auf dem HellaSwag‑Benchmark mit 5 608 Items konnte ATLAS die gleiche Schätzung wie das vollständige Set mit nur 42 Items erreichen, wobei die mittlere absolute Abweichung (MAE) lediglich 0,154 betrug.

Ein weiterer Vorteil ist die Kontrolle der Item‑Exposition: ATLAS hält die Expositionsraten unter 10 % und die Testüberlappung bei 16 – 27 %. Im Gegensatz dazu sehen bei statischen Benchmarks alle Modelle die gleichen 100 % der Items. Bei über 4 000 getesteten Modellen führten die IRT‑Ranglisten zu signifikanten Verschiebungen – 23 – 31 % der Modelle veränderten ihre Position um mehr als zehn Plätze.

Der komplette Code sowie kalibrierte Item-Banken sind frei verfügbar unter https://github.com/Peiyu-Georgia-Li/ATLAS.git.