Delta L Normalisierung: Neue Methode stabilisiert RLVR‑Training
In einer kürzlich veröffentlichten Arbeit auf arXiv (2509.07558v1) stellen die Autoren die ΔL‑Normalisierung vor – ein einfaches, aber wirkungsvolles Verfahren zur Aggregation von Verlusten in Reinforcement Learning mit…
- In einer kürzlich veröffentlichten Arbeit auf arXiv (2509.07558v1) stellen die Autoren die ΔL‑Normalisierung vor – ein einfaches, aber wirkungsvolles Verfahren zur Aggre…
- RLVR hat sich als vielversprechend erwiesen, um die Argumentationsfähigkeiten großer Sprachmodelle zu verbessern, doch die stark variierenden Antwortlängen während des T…
- Im Gegensatz zu bisherigen Ansätzen wie GRPO, DAPO oder Dr.
In einer kürzlich veröffentlichten Arbeit auf arXiv (2509.07558v1) stellen die Autoren die ΔL‑Normalisierung vor – ein einfaches, aber wirkungsvolles Verfahren zur Aggregation von Verlusten in Reinforcement Learning mit Verifiable Rewards (RLVR). RLVR hat sich als vielversprechend erwiesen, um die Argumentationsfähigkeiten großer Sprachmodelle zu verbessern, doch die stark variierenden Antwortlängen während des Trainings führen zu hohen Gradientenvariationen und instabilen Optimierungen.
Im Gegensatz zu bisherigen Ansätzen wie GRPO, DAPO oder Dr. GRPO, die unterschiedliche Normalisierungstermine einführen, bleibt die ΔL‑Normalisierung sowohl unverzerrt als auch variantenminimierend. Durch eine theoretische und empirische Analyse der Länge‑Einflüsse auf den Politikverlust wird das Problem als Suche nach einem Minimum‑Varianz‑unverzerrten Schätzer formuliert. Das Ergebnis ist ein Verfahren, das nicht nur die wahre Politikverlustschätzung liefert, sondern auch die Gradientenvarianz theoretisch minimiert.
Umfangreiche Experimente zeigen, dass die ΔL‑Normalisierung konsequent bessere Ergebnisse erzielt – unabhängig von Modellgröße, maximaler Länge oder Aufgabenstellung. Der Code wird öffentlich auf GitHub zur Verfügung gestellt: https://github.com/zerolllin/Delta-L-Normalization.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.