Graphbasierte Strukturen und Adapter verbessern Feinabstimmung von Modellen

Ein neues Verfahren zur Feinabstimmung großer vortrainierter Modelle kombiniert graphbasierte Strukturempfehlungen mit modularen Adaptern, um die hohen Rechenkosten und die strukturelle Instabilität bei Multi‑Task‑Anpassungen zu reduzieren.

Im Kern wird eine Relation‑Matrix eingeführt, die Abhängigkeiten zwischen Aufgaben modelliert und die Korrelationen von Knoten und Pfaden explizit in graphbasierte Strukturempfehlungen einbettet. Diese Empfehlungen liefern einheitliche strukturelle Einschränkungen für die Gewichtszuteilung der Adapter und die Pfadwahl, wodurch die Modellarchitektur gezielt gesteuert wird.

Modulare Adapter werden über Low‑Rank‑Mapping und einen plug‑and‑play‑Mechanismus in verschiedene Schichten integriert. Dadurch lassen sich Aufgaben effizient miteinander kombinieren und wiederverwenden, während die Strukturempfehlungen als Leitfaden dienen. Das Ergebnis ist eine verbesserte Parameter‑Effizienz, stabilere Trainingsläufe und weniger Pfadkonflikte sowie redundante Berechnungen.

Um die Robustheit des Ansatzes zu prüfen, wurden Experimente zu Hyperparameter‑, Umwelt‑ und Datensensitivität durchgeführt. Dabei wurden Faktoren wie Routing‑Temperatur, Gate‑Schwellen und Regularisierung der Relation‑Matrix systematisch analysiert. Die Ergebnisse zeigen, dass die Methode die Vorhersagegenauigkeit, die Präzision der Adaptergewichtszuteilung und die Gesamt‑Rechenleistung deutlich steigert – und das alles bei einem schlanken, leichtgewichtigen Modelldesign.