LARFT: LLMs meistern Längensteuerung dank neuer Lernmethode

Die neueste Forschung aus dem Bereich der großen Sprachmodelle (LLMs) hat ein langjähriges Problem gelöst: die präzise Kontrolle der Ausgabelänge. Trotz ihrer beeindruckenden Leistungen bei komplexen Aufgaben bleibt die Fähigkeit, Texte exakt nach Vorgabe zu begrenzen, ein Schwachpunkt. LARFT, kurz für Length‑Aware Reinforcement Fine‑Tuning, bietet hier eine innovative Lösung.

Der Ansatz kombiniert verstärkendes Lernen mit einer „Hindsight‑Length‑Awareness“, bei der das Modell aus eigenen Generationen lernt, deren tatsächliche Länge zu erkennen. Durch die Umwandlung von On‑Policy‑Daten in selbstreflektierende Aufgaben wird die interne Repräsentation von Längeninformationen gleichzeitig optimiert und die Handlungsstrategie angepasst, sodass Längenbeschränkungen zuverlässig eingehalten werden.

In umfangreichen Tests mit vier Basis‑Modellen übertraf LARFT bestehende Methoden deutlich. Auf drei Benchmarks zur Längensteuerung erzielte es durchschnittlich +20,92 Punkte, während die Leistung auf vier allgemeinen Fähigkeits‑Benchmarks nur um -1,45 Punkte zurückging. Damit demonstriert LARFT, dass gezielte Lernstrategien die Lücken zwischen kognitiver Wahrnehmung und konkreter Ausführung in LLMs schließen können.