CARE‑RFT: Vertrauen & Rechenleistung vereint – neue Methode für LLM‑Reasoning

Reinforcement‑Finetuning (RFT) hat sich als leistungsstarkes Verfahren etabliert, um die Rechenfähigkeiten großer Sprachmodelle zu verbessern. Doch bisher gab es einen gravierenden Kompromiss: Unbeschränktes RFT liefert beeindruckende Ergebnisse beim logischen Denken, führt aber zu stark erhöhten Halluzinationen und einer schlechteren Kalibrierung. Im Gegensatz dazu bewahrt RKL‑beschränktes RFT die Vertrauenswürdigkeit, lässt die Rechenleistung jedoch stark zurück.

Die neue Technik namens CARE‑RFT (Confidence‑Anchored Regularized Reinforcement Finetuning) löst dieses Problem, indem sie die klassische Reverse‑KL‑Regularisierung durch eine schiefe Reverse‑KL‑Divergenz ersetzt. Diese Variante gewährt eine auf das Vertrauen abgestimmte Strafe: Für explorative Schritte, die mit hoher Zuversicht und konsequenter Belohnung einhergehen, bleibt die Strafe begrenzt, sodass das Modell weiter nachdenken kann. Für weniger sichere Aktionen wird die Strafe hingegen unbegrenzt, wodurch die Kalibrierung und das Vertrauen erhalten bleiben.

Umfangreiche Tests an Modellen unterschiedlicher Größen und mit verschiedenen RFT‑Algorithmen zeigen, dass CARE‑RFT die optimale Balance erreicht. Es erzielt die gleiche Rechenleistung wie unbeschränktes RFT, während es gleichzeitig die Vertrauenswürdigkeit und Kalibrierung des Ausgangsmodells wiederherstellt. Damit demonstriert die Methode, dass eine sorgfältige, vertrauensbasierte Regularisierung der Schlüssel ist, um leistungsfähige und zugleich zuverlässige Sprachmodelle zu entwickeln.