Success Conditioning: Erfolgsorientiertes Lernen löst Trust‑Region‑Optimierung

In einer neuen Studie von ArXiv 2601.18175v1 wird die weit verbreitete Technik des Success Conditioning – bei der erfolgreiche Trajektorien identifiziert und die Policy darauf trainiert wird – endlich in einen klaren Optimierungsrahmen eingeordnet. Die Autoren zeigen, dass Success Conditioning exakt ein Trust‑Region‑Problem löst, das die Verbesserung der Policy maximiert, während die Divergenz der neuen Policy zur alten durch einen automatisch aus den Daten bestimmten χ²‑Radius begrenzt bleibt.

Ein zentrales Ergebnis ist die Gleichheit von drei Größen: der relativen Policy‑Verbesserung, dem Betrag der Policy‑Änderung und einer neuen Kennzahl namens Action‑Influence, die misst, wie stark zufällige Aktionsvariationen die Erfolgsrate beeinflussen. Diese Identität macht Success Conditioning zu einem konservativen Optimierungsoperator, der niemals die Leistung verschlechtert oder gefährliche Verteilungssprünge verursacht.

Die Autoren warnen jedoch, dass bei Misserfolgen die Policy kaum verändert wird – ein deutliches Signal, dass das Verfahren nicht mehr wirkt. Durch die Anwendung ihrer Theorie auf die gängige Praxis des Return‑Thresholding zeigen sie, dass die Methode die Verbesserung verstärken kann, dabei aber das Risiko birgt, vom eigentlichen Ziel abzuweichen.