Neue Algorithmen für konvergente Reinforcement‑Learning‑Modelle: Theorie und Praxis
Eine neue Dissertation liefert ein umfassendes theoretisches Fundament und praxisnahe Algorithmen, die das Gebiet des konformen Reinforcement Learnings (RL) in drei Schlüsselbereichen voranbringen: Steuerung, Präferenzlernen und die Ausrichtung großer Sprachmodelle.
Im ersten Teil wird der Algorithmus ACPO vorgestellt, der konforme Markov‑Entscheidungsprozesse (CMDPs) unter dem durchschnittlichen Kostenkriterium behandelt. Durch die Kombination von Sensitivitätsanalysen mit Trust‑Region‑Updates garantiert ACPO stabile Handhabung von Nebenbedingungen und erzielt gleichzeitig führende Ergebnisse in Experimenten.
Der zweite Beitrag erweitert konformes RL auf endliche Zeiträume. Der neue Ansatz e‑COP ist die erste Policy‑Optimierungsmethode für episodische CMDPs. Auf Basis eines episodischen Policy‑Differenz‑Lemma liefert e‑COP nachweisbare Leistungswerte, bleibt dabei einfach und skalierbar – ideal für sicherheitskritische Anwendungen.
Im Bereich des Präferenzlernens werden zwei innovative Verfahren präsentiert. warmPref‑PS nutzt posterior Sampling für lineare Banditen und integriert dabei offline gesammelte Präferenzdaten heterogener Rater in den Online‑Lernprozess. Durch die explizite Modellierung der Raterkompetenz reduziert es den Regret erheblich und beschleunigt die Datensammlung für RLHF. PSPL geht noch einen Schritt weiter: Es sampelt gleichzeitig Belohnungsmodelle und Übergangsdynamiken anhand paarweiser Trajektorienvergleiche, bietet Bayesianische Simple‑Regret‑Garantien und identifiziert robuste optimale Policies.
Abschließend werden diese Methoden auf die Ausrichtung großer Sprachmodelle angewendet. Durch einen multi‑objective‑optimierten Ansatz lassen sich die komplexen Anforderungen an Sicherheit, Fairness und Leistung in einem einheitlichen Rahmen berücksichtigen, was einen bedeutenden Fortschritt in der praktischen Modell‑Alignment‑Forschung darstellt.