BRIDGE: KI‑Modelle schätzen menschliche Aufgabendauer exakt
Um die Leistungsfähigkeit von KI-Systemen realistisch zu bewerten, muss die Benchmark‑Performance in nachvollziehbare menschliche Maße übersetzt werden. BRIDGE, ein neues psychometrisches Verfahren, löst dieses Problem, indem es aus den Antworten der Modelle eine latente Schwierigkeits‑Skala ableitet und diese mit der tatsächlichen Zeit, die Menschen benötigen, verknüpft. Durch die Anwendung eines zweiparametrigen logistischen Item‑Response‑Theory‑Modells werden gleichzeitig die Aufgabenschwierigkeit und die Modell‑Fähigkeit aus den Leistungsdaten mehrerer Benchmarks geschätzt. Die Analyse zeigt, dass die latente Schwierigkeit linear mit dem Logarithmus der menschlichen Aufgabendauer korreliert, sodass die benötigte Zeit für neue Aufgaben allein aus den Modell‑Ergebnissen vorhergesagt werden kann. Mit dieser Ausrichtung prognostiziert BRIDGE die zukünftigen Grenzen der KI‑Leistung in Bezug auf die menschliche Aufgabendauer und reproduziert unabhängig die exponentielle Skalierung von METR, wobei die 50‑Prozent‑Lösungshorizont etwa alle sechs Monate verdoppelt wird.
