KI lernt Schach zu denken: Von Feinabstimmung bis Verstärkungslernen

Ein neues arXiv‑Paper (2604.05134v1) untersucht, wie Sprachmodelle im Schachbereich ihre Denkfähigkeiten entwickeln – von der klassischen Feinabstimmung bis hin zum Verstärkungslernen. Die Autoren analysieren, welche Datensätze und Trainingsschritte die Leistung eines Modells in diesem anspruchsvollen Spiel beeinflussen.

Die Studie zeigt, dass ein Modell, das zunächst darauf trainiert wird, den besten Zug direkt vorherzusagen, anschließend durch Verstärkungslernen noch bessere Ergebnisse erzielt. Allerdings führt dieser Schritt häufig zu unzuverlässigem Denken, bei dem die Begründung nicht mit dem gewählten Zug übereinstimmt.

Eine Alternative besteht darin, das Modell mit ganzen Zugsequenzen zu trainieren. Diese Vorgehensweise liefert vergleichbare Leistungen, erzeugt aber glaubwürdigere Erklärungen und stabilere Lernschritte. Außerdem verschiebt Verstärkungslernen die Verteilung der Zugqualität positiv und senkt gleichzeitig die Häufigkeit von Halluzinationen.

Die Autoren identifizieren mehrere Metriken aus der Feinabstimmungsphase, die zuverlässig vorhersagen, wie gut ein Modell nach dem Verstärkungslernen abschneiden wird. Sie stellen die Checkpoints, Endmodelle, Trainingsdaten, Evaluierungen und den Code frei und haben damit ein 7‑Billionen‑Parameter‑Modell entwickelt, das führende Open‑Source‑Modelle im Schach übertrifft.