Mehr Stimmen bedeuten nicht mehr Wahrheit: Warum Konsens bei LLMs versagt

Forscher haben untersucht, ob die Erhöhung der Inferenzkosten durch das Sammeln vieler Antworten die Wahrhaftigkeit großer Sprachmodelle in Bereichen ohne einfache Verifikation verbessern kann. Dabei wurden fünf Benchmarks und mehrere Modelle getestet.

Erstaunlicherweise zeigte sich, dass selbst bei 25-facher Inferenzkosten keine konsistenten Genauigkeitssteigerungen gegenüber einfachen Einzelsamples erzielt wurden. Oft verstärkten aggregierte Antworten sogar gemeinsame Missverständnisse, weil die Modelle besser vorhersagen konnten, was andere Modelle sagen, als die Wahrheit zu erkennen.

Die Fehler der Modelle korrelieren stark miteinander – ein Phänomen, das über einzelne Benchmarks hinausgeht. Selbst wenn Modelle mit zufälligen Zeichenketten zu pseudozufälligen Ausgaben aufgefordert wurden, erzeugten verschiedene Modelle ähnliche Ergebnisse. Selbstberichtete Zuversicht war ebenfalls nutzlos, da sie nicht zuverlässig zwischen korrekten und inkorrekten Antworten unterscheiden konnte.

Die Studie legt somit einen klaren Grenzwert für die Skalierung von Inferenzzeiten fest: In verifizierbaren Domänen liefern zusätzliche Samples mehr Kandidaten für einen Verifikator, während sie in unverifizierbaren Bereichen lediglich Fehler verstärken. Diese Erkenntnisse zeigen, dass Crowd‑Wisdom‑Strategien bei LLMs nicht automatisch zu mehr Wahrhaftigkeit führen.