Richtige Fragen stellen: Stepping-Stone-Generierung verbessert das Denken von LLMs

In den letzten Jahren haben große Sprachmodelle (LLMs) enorme Fortschritte bei komplexen Aufgaben wie Mathematik und Programmieren erzielt. Doch wenn diese Modelle mit noch anspruchsvolleren Problemen konfrontiert werden, reicht ein einziger Durchlauf oft nicht aus. Stattdessen müssen sie Zwischenschritte – sogenannte Stepping Stones – entwickeln, die den Lösungsweg strukturieren.

Die neue Studie von arXiv 2602.19069v1 führt das ARQ‑Framework (Aking the Right Questions) ein. Dabei wird ein Fragegenerator in die Standard‑Reasoning‑Pipeline integriert, um gezielt Zwischenschritte zu erzeugen. Die Autoren zeigen, dass solche Fragen nicht nur existieren, sondern auch übertragbar sind: Einmal generierte, qualitativ hochwertige Fragen können von verschiedenen LLM‑Modellen genutzt werden, um die Zielaufgabe deutlich besser zu lösen.

Ein weiterer Schwerpunkt der Arbeit liegt auf der Post‑Training‑Phase. Durch Supervised Fine‑Tuning (SFT) und Reinforcement Learning (RL) auf synthetisch erzeugten Daten lernen die Modelle, noch nützlichere Stepping‑Stone‑Fragen zu formulieren. Diese zusätzlichen Trainingsschritte führen zu einer signifikanten Steigerung der Problemlösungsfähigkeit.

Die Ergebnisse unterstreichen, dass das gezielte Stellen von Fragen ein mächtiges Werkzeug ist, um die Leistungsgrenzen von LLMs zu verschieben. Mit ARQ können Forscher und Entwickler künftig komplexere Aufgaben angehen und die Effizienz von KI‑Systemen weiter steigern.