Selbstkonsistenz bei LLMs: Mehr Sampling bringt nur begrenzte Vorteile

Eine neue Untersuchung auf arXiv (2511.00751v1) beleuchtet die Wirkung von vermehrtem Sampling bei der Selbstkonsistenz von großen Sprachmodellen. Dabei wurden die Gemini 2.5‑Modelle auf den Datensätzen HotpotQA und Math‑500 getestet und die Ergebnisse mehrerer Sampling‑Ketten mit einer einzelnen Chain‑of‑Thought‑Baseline verglichen.

Die Analyse zeigt, dass größere Modelle eine stabilere und konsistentere Verbesserungskurve aufweisen. Dennoch erreichen die Leistungsgewinne nach einer moderaten Anzahl von Sampling‑Ketten einen Plateau‑Effekt – ein Ergebnis, das frühere Studien mit älteren Modellen bereits vorhergesagt haben. Der Rückgang der Rendite lässt sich auf Überschneidungen zwischen den einzelnen Denkpfaden zurückführen.

Obwohl die Selbstkonsistenz weiterhin ein nützliches Mittel bleibt, liefern hochgradig gesampelte Konfigurationen nur geringe Vorteile im Vergleich zu ihrem Rechenaufwand. Die Studie bestätigt damit, dass ein ausgewogenes Sampling die optimale Balance zwischen Leistung und Effizienz darstellt.