Von RLHF zu direktem Alignment: Theoretische Einheit für Präferenzlernen LLMs
Die sichere und nützliche Nutzung großer Sprachmodelle hängt davon ab, wie gut sie menschliche Präferenzen widerspiegeln. Während Reinforcement Learning from Human Feedback (RLHF) lange Zeit das vorherrschende Verfahren war, haben sich inzwischen zahlreiche Alternativen entwickelt – von Direct Preference Optimization (DPO) über Identity Preference Optimization (IPO) bis hin zu Kahneman‑Tversky Optimization (KTO) und Simple Preference Optimization (SimPO). Diese Vielfalt hat die Auswahl für Entwickler erschwert.
