Unschärfe-gesteuerte Checkpoint-Auswahl verbessert RL-Fine‑Tuning von LLMs
Reinforcement‑Learning‑Fine‑Tuning (RL‑FT) ist ein entscheidender Schritt, um große Sprachmodelle (LLMs) an menschliche Werte anzupassen. Gleichzeitig ist der Prozess extrem instabil und die Leistung variiert stark zwischen den einzelnen Checkpoints. Traditionelle Methoden, wie die Bewertung aller Checkpoints auf einem Validierungs‑Set, sind rechenintensiv und erfordern ein hochwertiges Validierungs‑Set, während die alleinige Nutzung des letzten Checkpoints keine Garantie für gute Ergebnisse bietet.
