Neue Methode verbessert Datenqualität von LLMs durch Offline-Auswahl und Online-Optimierung
In einer wegweisenden Studie wird ein einheitliches Konzept vorgestellt, das die Qualität von großen Sprachmodellen (LLMs) nach dem Training signifikant steigert. Durch die Kombination von Offline-Datenauswahl und Online‑Selbstoptimierung werden die Daten, die für die Feinabstimmung verwendet werden, gezielt verbessert.
Der Ansatz nutzt eine Bilevel‑Optimierung: Zunächst wird offline die relevanteste Trainingsmenge anhand eines Validierungsdatensatzes ausgewählt. Anschließend erfolgt die Online‑Selbstoptimierung, bei der das Modell iterativ an die besten Antworten angepasst wird, die wiederum die Validierungsdaten am besten widerspiegeln. Dabei wird jedem Frage‑Antwort‑Paar ein lernbarer Gewichtungsfaktor zugeordnet, der entweder explizit oder implizit bestimmt wird.
Die Autoren demonstrieren erstmals theoretisch, dass diese Bilevel‑Strategie die Effektivität steigert, und zeigen in praktischen Tests deutliche Verbesserungen gegenüber herkömmlichen Misch‑ und Filtermethoden. Durch die Kombination von offline ausgewählten Daten mit validierungsgewichteten Online‑Generierungen wird die Feinabstimmung von LLMs deutlich leistungsfähiger.
Experimentelle Ergebnisse zur Qualitätsverbesserung und zur sicherheitsbewussten Feinabstimmung bestätigen die Wirksamkeit des Ansatzes und markieren einen wichtigen Fortschritt in der Anpassung von Sprachmodellen an spezifische Aufgaben.