RankLLM: Fragenbasierte Bewertung von LLMs – neue Messmethode

In der Forschung zu großen Sprachmodellen (LLMs) sind Benchmarks ein zentrales Instrument, um Leistungen systematisch zu vergleichen und Fortschritte zu messen. Doch bislang fehlt ihnen die Möglichkeit, die Schwierigkeit einzelner Fragen zu differenzieren, was die Aussagekraft der Bewertungen einschränkt.

Mit dem neuen Ansatz RankLLM wird dieses Problem adressiert. Der Rahmen quantifiziert sowohl die Schwierigkeit einer Frage als auch die Kompetenz eines Modells und setzt die Frage­schwierigkeit als Hauptkriterium für die Bewertung ein. Dadurch entsteht eine feinere Unterscheidung der Fähigkeiten von LLMs.

Das Herzstück von RankLLM ist ein bidirektionaler Score‑Propagationsmechanismus. Ein Modell erhält einen Kompetenz‑Score, wenn es eine Frage korrekt beantwortet, während die Schwierigkeit einer Frage steigt, wenn sie ein Modell herausfordert. Durch diese wechselseitige Beziehung entsteht ein dynamisches Ranking, das sowohl Modelle als auch Fragen kontinuierlich anpasst.

In einer umfangreichen Evaluation wurden 30 Modelle auf 35 550 Fragen aus verschiedenen Domänen getestet. RankLLM erzielte dabei eine Übereinstimmung von 90 % mit menschlichen Urteilen und übertraf etablierte Baselines wie IRT. Zusätzlich zeigte der Ansatz hohe Stabilität, schnelles Konvergenzverhalten und eine effiziente Rechenleistung, was ihn zu einer praktikablen Lösung für groß angelegte, schwierigkeitssensitive LLM‑Bewertungen macht.

RankLLM bietet damit eine robuste und skalierbare Methode, um die Leistungsfähigkeit von Sprachmodellen genauer zu beurteilen und die Entwicklung neuer, leistungsfähigerer Modelle zu beschleunigen.