LSRIF: Logikbasierte Verstärkungslern-Strategie steigert Anweisungsbefolgung

Ein neues Verfahren namens LSRIF (Logic‑Structured Reinforcement Learning for Instruction Following) wurde vorgestellt, um die Fähigkeit großer Sprachmodelle zu verbessern, komplexe Anweisungen zu verstehen und korrekt auszuführen. Dabei liegt der Fokus auf der expliziten Modellierung von logischen Strukturen, die in realen Anweisungen häufig vorkommen.

Zur Erreichung dieses Ziels wurde zunächst das Datenset LSRInstruct erstellt. Es enthält Anweisungen, die verschiedene logische Strukturen aufweisen, darunter parallele, sequenzielle und bedingte Typen. Durch die gezielte Einbindung dieser Strukturen in das Training können Modelle lernen, die zugrunde liegenden Abhängigkeiten zu erkennen.

Im Kern des Ansatzes steht ein strukturbewusster Belohnungsmechanismus, der drei Hauptkomponenten umfasst: eine durchschnittliche Aggregation für parallele Strukturen, eine Propagation von Fehlermarkierungen für sequenzielle Abläufe und selektive Belohnungen für bedingte Zweige. Diese Kombination sorgt dafür, dass das Modell nicht nur durchschnittliche Leistungen maximiert, sondern auch die logische Konsistenz der Ausführung beachtet.

Experimentelle Ergebnisse zeigen, dass LSRIF die Leistung bei der Befolgung von Anweisungen sowohl im‑ als auch außerhalb des Trainingsdatensatzes deutlich steigert. Darüber hinaus verbessert sich die allgemeine Fähigkeit zum logischen Denken. Eine Analyse der Parameterupdates verdeutlicht, dass die Aufmerksamkeitsschichten stärker auf die logischen Operatoren und Einschränkungen fokussiert werden, was die Genauigkeit der Ausführung weiter erhöht.