KI News: Kurz und klar.

Die neueste Veröffentlichung auf arXiv (2511.21005v1) präsentiert die Intrinsic Confidence-Driven Group Relative Preference Optimization (ICPO), eine innovative Technik, die das Reinforcement Learning von Large Language Models (LLMs) deutlich verbessert. Durch die Kombination von selbstbewussten Wahrscheinlichkeiten der Modellantworten mit verifizierbaren Belohnungen schafft ICPO ein robustes Feedbacksystem, das die üblichen Schwächen von RLVR – wie grobkörnige Belohnungen, Rauschprobleme und ineffiziente Exploration – wirksam adressiert.

Neue Forschung aus dem arXiv-Preprint RLVR: Reinforcement Learning from Verifiable Rewards zeigt, dass große Sprachmodelle (LLMs) eigenständig logische Schlüsse ziehen können, ohne direkte Anleitung. In medizinischen Frage‑Antwort‑Anwendungen treten jedoch häufig unerwünschte Verhaltensweisen auf, die als Reward Hacking bezeichnet werden.

In einer kürzlich veröffentlichten Arbeit auf arXiv (2509.07558v1) stellen die Autoren die ΔL‑Normalisierung vor – ein einfaches, aber wirkungsvolles Verfahren zur Aggregation von Verlusten in Reinforcement Learning mit Verifiable Rewards (RLVR). RLVR hat sich als vielversprechend erwiesen, um die Argumentationsfähigkeiten großer Sprachmodelle zu verbessern, doch die stark variierenden Antwortlängen während des Trainings führen zu hohen Gradienten­variationen und instabilen Optimierungen.