ICPO: Neue Methode steigert Lernleistung von Sprachmodellen

Die neueste Veröffentlichung auf arXiv (2511.21005v1) präsentiert die Intrinsic Confidence-Driven Group Relative Preference Optimization (ICPO), eine innovative Technik, die das Reinforcement Learning von Large Language Models (LLMs) deutlich verbessert. Durch die Kombination von selbstbewussten Wahrscheinlichkeiten der Modellantworten mit verifizierbaren Belohnungen schafft ICPO ein robustes Feedbacksystem, das die üblichen Schwächen von RLVR – wie grobkörnige Belohnungen, Rauschprobleme und ineffiziente Exploration – wirksam adressiert.

Im Kern nutzt ICPO die Idee, dass die generierten Antwortwahrscheinlichkeiten eines Modells ein direktes Spiegelbild seiner eigenen Einschätzung des Denkprozesses darstellen. Indem mehrere mögliche Antworten zu demselben Prompt verglichen werden, berechnet die Methode einen Präferenzvorteilswert, der die relative Qualität der Antworten quantifiziert. Dieser Wert wird anschließend mit verifizierbaren Belohnungen kombiniert, um die Exploration gezielt zu steuern.

Die Ergebnisse zeigen, dass ICPO nicht nur die Probleme von grobkörnigen Belohnungen und Rauschen reduziert, sondern auch übermäßige Selbstsicherheit verhindert, die Qualität von bislang unterbewerteten Antworten hervorhebt und das Modell davor schützt, sich auf ein einzelnes Erfolgsrezept zu fixieren. In umfangreichen Tests auf vier allgemeinen Benchmark-Datensätzen sowie drei mathematischen Benchmarks übertrifft ICPO die bisherige Methode GRPO in der Steigerung der Problemlösungsfähigkeiten.