SCALe: Präzisere Vision‑Language‑Modelle durch Chain‑of‑Thought‑Training

Vision‑Language‑Modelle (VLMs) nutzen häufig ein zweistufiges Training: zunächst ein supervised fine‑tuning (SFT) und anschließend Reinforcement Learning (RL). Beim klassischen SFT tragen alle Tokens gleich zum Verlust bei, obwohl die Daten für das logische Denken stark token‑ungleich verteilt sind. Lange Argumentationsketten dominieren dabei, was zu übermäßig langen und oft ungenauen Antworten führt.

Die neue Methode SCALe (Scheduled Curriculum Adaptive Loss) löst dieses Problem, indem sie die Supervision für die Rechen- und Antwortsegmente explizit trennt. Durch eine dynamische, längungsunabhängige Gewichtung wird das Training so gestaltet, dass lange Segmente nicht automatisch bevorzugt werden.

SCALe‑SFT nutzt ein Cosinus‑Scheduling, das den Fokus während des Trainings schrittweise von langen zu kurzen Segmenten verschiebt. Dadurch werden prägnante und gut begründete Argumentationsketten gefördert, ohne dass die Antwortqualität leidet.

In umfangreichen Benchmarks und bei verschiedenen Architekturen zeigte SCALe eine konsequente Steigerung der Genauigkeit gegenüber dem Standard‑SFT. Gleichzeitig erreicht es die gleiche Leistung wie das vollständige SFT‑plus‑GRPO‑Paket, jedoch mit nur etwa einem Siebtel der Trainingszeit.

Wenn SCALe mit GRPO kombiniert wird, erzielt es die beste Gesamtleistung. Das Ergebnis unterstreicht, dass SCALe sowohl als eigenständige, leichtgewichtige Methode als auch als starke Basis für weitere Reinforcement‑Learning‑Optimierungen dient.

Zusammengefasst bietet SCALe eine effiziente und effektive Alternative für das Chain‑of‑Thought‑Training in Vision‑Language‑Modellen, die sowohl Zeit spart als auch die Genauigkeit verbessert.