KI News: Kurz und klar.

In der Welt der Präferenzlernen ist die Gefahr der Überoptimierung seit langem bekannt: Modelle neigen dazu, sich zu stark an die Trainingsdaten anzupassen und verlieren dabei die Fähigkeit, auf neue Situationen zu generalisieren. Traditionelle Direct Preference Optimization (DPO)‑Ansätze stoßen dabei an ihre Grenzen, weil sie oft die gesamte Datenverteilung kennen oder ein explizites Belohnungsmodell lernen müssen.

Die sichere und nützliche Nutzung großer Sprachmodelle hängt davon ab, wie gut sie menschliche Präferenzen widerspiegeln. Während Reinforcement Learning from Human Feedback (RLHF) lange Zeit das vorherrschende Verfahren war, haben sich inzwischen zahlreiche Alternativen entwickelt – von Direct Preference Optimization (DPO) über Identity Preference Optimization (IPO) bis hin zu Kahneman‑Tversky Optimization (KTO) und Simple Preference Optimization (SimPO). Diese Vielfalt hat die Auswahl für Entwickler erschwert.

Eine neue Dissertation liefert ein umfassendes theoretisches Fundament und praxisnahe Algorithmen, die das Gebiet des konformen Reinforcement Learnings (RL) in drei Schlüsselbereichen voranbringen: Steuerung, Präferenzlernen und die Ausrichtung großer Sprachmodelle.