Verbalisiertes Aktionsmaskieren steigert Effizienz beim Schach‑RL‑Training

Die Nachtrainierung von großen Sprachmodellen (LLMs) mit Verstärkungslernen (RL) steht vor einer großen Herausforderung: die Erkundung des Aktionsraums ist oft zu sparsichtig, was zu frühzeitigen, repetitiven Verhaltensmustern führt. Ein neues Verfahren namens Verbalisiertes Aktionsmaskieren (VAM) adressiert dieses Problem direkt.

VAM arbeitet, indem es eine Aktionsmaske in den Prompt des Modells einbettet und das Modell zwingt, nur aus diesem eingeschränkten Satz zu wählen. Durch die sprachliche Formulierung der Maske wird die Entscheidungsfindung des Modells klarer und kontrollierbarer.

Ein weiteres Merkmal von VAM ist die iterative Reduktion des Aktionsraums: sollte die gewünschte Aktion nicht ausgewählt werden, werden die bereits gesampelten gültigen Aktionen aus der Maske entfernt und ein neuer Sampling-Vorgang gestartet. Dieser Prozess wiederholt sich, bis die Zielaktion erreicht ist oder ein festgelegtes Budget erschöpft ist.

Die Wirksamkeit von VAM wurde im Schach getestet, wobei zwei Trainingsansätze verglichen wurden. Beim Engine‑Play‑Modell wurden Zustände durch Spiele gegen einen Schach‑Engine erzeugt, während im Fixed‑Dataset‑Modell ein festes Datenset von Positionen mit Verifikationswerten verwendet wurde.

Die Ergebnisse zeigen, dass VAM sowohl bei isolierten Schachrätseln als auch bei vollständigen Partien, gemessen an der durchschnittlichen Centipawn‑Verlust‑Rate (ACPL), die Lernrate und die Endleistung gegenüber starken Baselines deutlich verbessert. Diese Verbesserungen unterstreichen, dass das verbalisiertes Maskieren ein praktisches Mittel für kontrollierte Exploration in der Nachtrainierung von LLMs darstellt.