Trainingzeit‑Signal: Stabilisierungspunkt für stabile Beweislage Sprachmodellen

Beim Feintuning vortrainierter Sprachmodelle steigt die Aufgabenleistung, doch gleichzeitig verändert sich subtil, welche Beweise das Modell nutzt. Um diesen Wandel sichtbar zu machen, verfolgt die neue Methode token‑weise Attributionen über alle Feintuning‑Epochen hinweg.

Der sogenannte „Explanation Drift“ misst die epochale Veränderung normalisierter Token‑Attributionen auf einer festen Probe. Der „Reasoning Stabilization Point“ (RSP) ist die früheste Epoche, ab der dieser Drift dauerhaft niedrig bleibt. RSP wird ausschließlich aus den internen Drift‑Dynamiken berechnet und erfordert keine Anpassung an Out‑of‑Distribution‑Daten.

In Experimenten mit leichten Transformer‑Klassifikatoren und Standard‑Benchmark‑Aufgaben kollabiert der Drift früh in ein stabiles, niedriges Niveau, während die Validierungsgenauigkeit nur geringfügig weiter steigt. Das zeigt, dass die Evidenz bereits früh konsistent wird, obwohl die Leistung noch nicht maximal ist.

In einer kontrollierten Shortcut‑Umgebung, in der label‑korrelierte Trigger‑Tokens als Abkürzungen dienen, offenbaren die Attributionen einen zunehmenden Einsatz dieser Abkürzungen – selbst wenn die Validierungsgenauigkeit konkurrenzfähig bleibt. So wird deutlich, dass reine Genauigkeitsmetriken allein nicht ausreichen, um die Entscheidungsgrundlage zu verstehen.

Zusammengefasst liefert der Explanation Drift ein einfaches, kostengünstiges Diagnoseinstrument, um die Entwicklung der Entscheidungsbeweise während des Feintunings zu überwachen und Checkpoints auszuwählen, die sich in einem stabilen Evidenz‑Regime befinden.