GOPO: Neue Optimierungsmethode für Sprachmodelle aus Hilbert‑Raum

Die neueste Veröffentlichung von Forschern auf arXiv präsentiert GOPO – Group Orthogonalized Policy Optimization – einen völlig neuen Ansatz zur Ausrichtung großer Sprachmodelle. Anstatt die klassische Optimierung auf der Wahrscheinlichkeitssimplex durchzuführen, nutzt GOPO die Geometrie von Hilbert‑Funktionsräumen, um die Alignment‑Problematik elegant zu lösen.

Im Kern wird die Optimierung in den quadratisch integrierbaren Funktionsraum L²(πₖ) überführt. Dort reduziert sich die Simplex‑Beschränkung auf eine lineare Orthogonalitätsbedingung, die einen Codimension‑einen Unterraum H₀ definiert. Durch Minimierung der Distanz zu einem unbeschränkten Ziel u* entsteht die Arbeit‑Verlustfunktion J(v) = –(μ/2)‖v‖², deren Maximierer unmittelbar aus dem Hilbert‑Projektionstheorem folgt.

Die zusätzliche Randbedingung v ≥ –1 führt zu einer beschränkten Hilbert‑Projektion, die exakt sparse Ergebnisse erzeugt: Aktionen, die katastrophal schlecht sind, erhalten eine Wahrscheinlichkeit von Null über einen geschlossenen Schwellenwert. Dieser Mechanismus eliminiert die Notwendigkeit heuristischer Clipping‑Strategien.

Für die praktische Umsetzung projiziert GOPO von dem unendlichen Raum L²(πₖ) auf einen endlichen, empirisch induzierten Unterraum, der durch Gruppensampling entsteht. Da gruppennormalisierte Vorteile stets Null ergeben, verschwindet der Lagrange‑Multiplikator, und die ursprünglich beschränkte Projektion wird zu einer unbeschränkten empirischen Verlustfunktion. Das Resultat ist ein Ziel mit konstanter Hesse‑Krümmung μI, linearem Gradientverhalten ohne Sättigung und einem eingebauten Dead‑Zone‑Mechanismus.

Experimentelle Tests auf mathematischen Reasoning‑Benchmarks zeigen, dass GOPO konkurrenzfähige Generalisierung liefert, während es gleichzeitig die Effizienz steigert und die Modellleistung stabil hält. Diese Arbeit eröffnet neue Perspektiven für die Ausrichtung von Sprachmodellen, indem sie klassische Optimierungsprobleme in einen geometrisch fundierten Rahmen überführt.