MemReward: Graphbasierter Erfahrungsspeicher LLM-Belohnungen mit wenigen Labels

In der Welt der großen Sprachmodelle (LLMs) ist die Belohnungsoptimierung ein entscheidender Schritt, um komplexe Aufgaben wie mathematisches Problemlösen oder Codegenerierung zu meistern. Doch die Notwendigkeit, für jede generierte Antwort ein menschliches Belohnungslabel zu erhalten, macht diesen Prozess teuer und zeitaufwendig. MemReward bietet eine innovative Lösung, die die Abhängigkeit von umfangreichen Label-Datensätzen drastisch reduziert.

Das Konzept von MemReward basiert auf einem graphbasierten Erfahrungsspeicher. Zunächst erzeugt ein LLM-Policy Rollouts für jede Anfrage, die aus einem Denkprozess und einer Endantwort bestehen. Diese Rollouts werden als Knoten in einem heterogenen Graphen abgelegt, wobei Ähnlichkeits- und Strukturelemente als Kanten fungieren. Anschließend trainiert ein Graph Neural Network (GNN) auf den gelabelten Knoten und propagiert die Belohnungen auf die unlabeled Rollouts. Auf diese Weise kann das Modell während des Online-Optimierungsprozesses effizient lernen, auch wenn nur ein Bruchteil der Daten gelabelt ist.

Die Experimente mit den Modellen Qwen2.5-3B und 1.5B zeigen beeindruckende Ergebnisse: Mit lediglich 20 % gelabelten Daten erreicht MemReward 97,3 % der Oracle-Performance bei 3 B Parametern und 96,6 % bei 1,5 B Parametern. Besonders bemerkenswert ist, dass das System bei Aufgaben außerhalb des Trainingsdatensatzes sogar die Oracle-Performance übertrifft. Die Leistung skaliert dabei glatt mit dem Label-Budget und erreicht bei 70 % gelabelten Daten 99,4 % der Oracle-Performance.

MemReward demonstriert damit, dass graphbasierte Erfahrungsspeicher und GNNs eine effektive Alternative zu herkömmlichen, labelintensiven Reinforcement-Learning-Ansätzen darstellen. Diese Methode eröffnet neue Möglichkeiten, LLMs mit begrenzten Ressourcen zu trainieren und gleichzeitig die Qualität der generierten Antworten hoch zu halten.