LLMs mit Nutzer-Edits feinjustieren: Ein neuer Ansatz zur Personalisierung

In einer kürzlich veröffentlichten Studie auf arXiv wird ein innovativer Weg vorgestellt, wie große Sprachmodelle (LLMs) mithilfe von Nutzer-Edits aus realen Anwendungen wie Schreibassistenten und Code-Generatoren angepasst werden können. Diese Edits entstehen organisch, wenn Anwender die Antworten der Modelle korrigieren oder verbessern, und stellen damit eine wertvolle Quelle für die Personalisierung dar.

Der Ansatz vereint drei bislang getrennt betrachtete Feedbackformen – Präferenzen, überwachende Labels und Kosteninformationen – zu einem einheitlichen Lernrahmen. Theoretisch werden dafür Grenzwerte für Lernalgorithmen abgeleitet, die jeweils aus einer dieser Feedbackarten lernen. Die Autoren zeigen, dass die jeweiligen Algorithmen unterschiedliche Kompromisse zwischen Genauigkeit, Datenverteilung und Modellklasse aufweisen.

Um die Stärken aller Feedbacktypen zu nutzen, wird ein einfaches Ensembling-Verfahren vorgeschlagen, das gleichzeitig aus Präferenzen, Supervision und Kosten lernt. In zwei experimentellen Domänen, die auf früheren Arbeiten basieren, übertrifft dieses Verfahren die einzelnen Methoden deutlich. Zudem demonstriert die Studie, dass das Ensembling robust auf unterschiedliche Nutzer-Edit-Verteilungen im Testumfeld reagiert.