LLM-Bewertung als Wettsystem: Mehr Genauigkeit und klare Vertrauenssignale

In einer neuen Pilotstudie wurde untersucht, ob die Einbettung von LLM‑Bewertungen in ein fiktives Wettsystem die Vorhersagegenauigkeit steigert und gleichzeitig ein deutliches Vertrauenssignal liefert. Dazu wurden 100 Mathematik‑ und Logikfragen mit überprüfbaren Antworten erstellt, die von sechs Basis‑Modellen beantwortet wurden. Drei Vorhersagemodelle schätzten anschließend, ob jedes Basismodell die jeweilige Frage korrekt beantwortet.

Die Vorhersagen wurden in zwei Bedingungen getestet: einer Kontrollgruppe mit einfachen Ja/Nein‑Antworten und einer Anreizgruppe, in der die Modelle zusätzlich mit fiktiven „LLMCoin“ (1 000 000 Coin Startkapital, Einsätze von 1–100 000 Coin) wetteten. Insgesamt wurden 5 400 Vorhersagen pro Bedingung durchgeführt. Die Anreizgruppe erzielte eine leicht höhere Genauigkeit (81,5 % vs. 79,1 %) und zeigte eine deutlich schnellere Lernkurve über die Runden hinweg (12,0 % vs. 2,9 % Verbesserung von Runde 1 zu Runde 4).

Besonders auffällig war, dass die Einsatzgröße ein klares Vertrauenssignal darstellte: „Whale“-Einsätze von über 40 000 Coin waren zu 99 % korrekt, während Einsätze unter 1 000 Coin nur etwa 74 % Genauigkeit aufwiesen. Die Studie zeigt, dass fiktives Geld die Modelle nicht signifikant intelligenter macht – die Genauigkeitssteigerung war zwar moderat, erreichte aber nicht die statistische Signifikanz. Vielmehr liefert das Wettsystem ein leicht interpretierbares Vertrauenssignal, das bei binären Ja/Nein‑Ausgaben fehlt.

Diese Ergebnisse deuten darauf hin, dass einfache Anreizmechanismen nützlich sein können, um Vertrauenssignale aus LLM‑Bewertungen zu extrahieren, ohne auf komplexe Kalibrierungsmethoden zurückgreifen zu müssen.