Orthogonale Gradientenauswahl steigert Domänenanpassung von LLMs

In der aktuellen Forschung wird ein neues Verfahren vorgestellt, das die Feinabstimmung großer Sprachmodelle (LLMs) für spezielle Fachbereiche revolutioniert. Das Ziel ist es, Fachwissen zu integrieren, ohne die allgemeinen Denkfähigkeiten zu verlieren – ein Problem, das als „catastrophisches Vergessen“ bekannt ist.

Traditionelle Ansätze zur Vermeidung von Konflikten zwischen Domänen- und Allgemeinwissen setzen entweder auf aufwändige Gradientenschnittverfahren, die hohe Rechenkosten verursachen, oder auf datenbasierte Auswahlmethoden, die die Richtung der Gradienten nicht berücksichtigen. Das neue Verfahren, genannt Orthogonal Gradient Selection (OGS), kombiniert die Vorteile beider Ansätze, indem es die geometrische Analyse der Gradienten auf die Datenwahl verlagert.

OGS nutzt ein leichtgewichtiges Navigator-Modell und Techniken des Reinforcement Learning, um dynamisch Trainingsbeispiele zu identifizieren, deren Gradienten orthogonal zu einem allgemeinen Wissensanker liegen. Dadurch werden Updates für das Zielmodell sicher gestaltet, ohne dass der Optimierer modifiziert oder Laufzeitprojektionen durchgeführt werden müssen.

Experimentelle Ergebnisse in medizinischen, juristischen und finanziellen Domänen zeigen, dass OGS die Domänenleistung deutlich steigert und gleichzeitig die Trainingszeit reduziert. Gleichzeitig bleibt die Leistung auf allgemeinen Aufgaben wie GSM8K erhalten oder sogar verbessert, was die Vielseitigkeit und Effizienz des Ansatzes unterstreicht.