Unschärfe-gesteuerte Checkpoint-Auswahl verbessert RL-Fine‑Tuning von LLMs

Reinforcement‑Learning‑Fine‑Tuning (RL‑FT) ist ein entscheidender Schritt, um große Sprachmodelle (LLMs) an menschliche Werte anzupassen. Gleichzeitig ist der Prozess extrem instabil und die Leistung variiert stark zwischen den einzelnen Checkpoints. Traditionelle Methoden, wie die Bewertung aller Checkpoints auf einem Validierungs‑Set, sind rechenintensiv und erfordern ein hochwertiges Validierungs‑Set, während die alleinige Nutzung des letzten Checkpoints keine Garantie für gute Ergebnisse bietet.

Die neue Methode, genannt Uncertainty‑Guided Checkpoint Selection (UGCS), löst diese Probleme elegant. Sie identifiziert die schwierigsten Frage‑Antwort‑Paare anhand der pro‑Sample‑Unsicherheit und bewertet die Checkpoints danach, wie gut sie diese herausfordernden Fälle lösen. Durch das Mittelwert‑Berechnen der Belohnungen der Top‑Unsicheren Proben über einen kurzen Trainingszeitraum liefert UGCS ein stabiles und differenzierendes Signal, ohne zusätzliche Vorwärtspässe oder erhebliche Rechenkosten.

In umfangreichen Experimenten mit drei Datensätzen und drei unterschiedlichen LLM‑Architekturen zeigte UGCS konsequent, dass Checkpoints, die die schwierigsten Aufgaben mit geringer Unsicherheit bewältigen, die beste Generalisierung aufweisen. Damit übertrifft die Methode herkömmliche Strategien, die sich auf Trainings‑ oder Validierungsleistungen stützen. Die Ergebnisse unterstreichen, dass Modelle, die ihre härtesten Aufgaben zuverlässig lösen, insgesamt die zuverlässigsten sind.