Task‑Vektoren und Gradienten: Neue Theorie erklärt Modell‑Merging

In der Welt der künstlichen Intelligenz hat sich die Technik des Task‑Arithmetics als unkompliziertes, aber äußerst wirkungsvolles Mittel zur Zusammenführung mehrerer feinabgestimmter Modelle etabliert. Trotz ihrer praktischen Erfolge fehlte bislang eine klare theoretische Erklärung dafür, warum und wann sie funktioniert. Das neue Papier aus dem arXiv‑Repository liefert genau das: eine rigorose theoretische Basis, die Task‑Vektoren mit den Gradienten der jeweiligen Aufgabenverluste verbindet.

Die Autoren zeigen, dass bei konventionellem Gradient Descent ein Task‑Vektor, der aus einem einzigen Feinabstimmungs‑Epoch erzeugt wird, exakt dem negativen Gradienten des Verlustes entspricht, multipliziert mit der Lernrate. Für die praxisrelevante Mehr‑Epoch‑Situation beweisen sie, dass diese Gleichheit nur leicht abweicht – ein zweiter Ordnung Fehlerterm, den sie explizit für Feed‑Forward‑Netze begrenzen.

Durch umfangreiche Experimente an sieben unterschiedlichen Bildverarbeitungs‑Benchmarks wird die Theorie bestätigt: Der Gradient aus dem ersten Epoch dominiert sowohl in Norm als auch in Richtung die gesamte Feinabstimmungs‑Trajektorie. Das bedeutet, dass das Zusammenführen von Modellen, die lediglich einen einzigen Epoch durchlaufen haben, oft die gleiche Leistungsfähigkeit erzielt wie das Zusammenführen vollständig konvergierter Modelle.

Diese Erkenntnisse stellen Task‑Arithmetic als eine Form des approximativen Multi‑Task‑Learnings dar und geben einen klaren Grund für seine Effektivität an. Sie unterstreichen zudem die entscheidende Rolle der frühen Trainingsdynamik bei der Modell‑Fusion und eröffnen neue Perspektiven für die effiziente Nutzung von Feinabstimmungs‑Ressourcen.