UCPO: Neue Methode reduziert Halluzinationen in Sprachmodellen

Die Entwicklung vertrauenswürdiger Large Language Models (LLMs) hängt entscheidend davon ab, dass die Modelle ihre eigene Unsicherheit ausdrücken können. Nur so lassen sich die Halluzinationen, die die Einsatzmöglichkeiten in kritischen Bereichen einschränken, wirksam verringern.

Aktuelle Reinforcement‑Learning‑Ansätze wie GRPO leiden häufig unter einem sogenannten Advantage‑Bias. Dieser entsteht durch binäre Entscheidungsräume und statische Unsicherheitsbelohnungen, was entweder zu übermäßiger Vorsicht oder zu übermäßigem Selbstvertrauen führt. Das neue Verfahren UCPO (UnCertainty‑Aware Policy Optimization) identifiziert die Ursachen für Belohnungs‑Hacking und Überkonfidenz in solchen Modellen und bietet eine Lösung.

UCPO nutzt eine ternäre Advantage‑Decoupling‑Strategie, um deterministische und unsichere Rollouts getrennt zu normalisieren. Dadurch wird der Advantage‑Bias vollständig eliminiert. Zusätzlich wird ein dynamisches Unsicherheits‑Reward‑Adjustment eingeführt, das die Unsicherheitsgewichte in Echtzeit an die Modellentwicklung und die Schwierigkeit einzelner Aufgaben anpasst.

Experimentelle Tests in mathematischer Problemlösung und allgemeinen Aufgaben zeigen, dass UCPO das Belohnungs‑Ungleichgewicht behebt und die Zuverlässigkeit sowie die Kalibrierung der Modelle deutlich verbessert – selbst über die Grenzen ihres Wissens hinaus.