Neue Methode steigert LLMs beim mathematischen Problemlösen

Die Fähigkeit von Sprachmodellen, mathematische Aufgaben zu lösen, gilt als entscheidender Test für ihre Denkfähigkeit und ist für Anwendungen in Bildung, Wissenschaft und Technik von zentraler Bedeutung. Trotz jüngster Fortschritte in Multi-Agenten-LLM-Systemen fehlt ihnen bislang eine verlässliche, überarbeitbare Darstellung des Denkprozesses. Traditionelle Ansätze arbeiten entweder in starren, sequentiellen Pipelines, die frühere Schritte nicht korrigieren können, oder verlassen sich auf heuristische Selbstbewertung, die Fehler oft übersehen lässt. Zudem kann das Einbinden von Programmcode die Modelle ablenken und die Genauigkeit mindern.

Um diese Schwächen zu beheben, wurde die Methode „Iteratively Improved Program Construction“ (IIPC) entwickelt. IIPC verfeinert fortlaufend programmatische Denkketten und kombiniert dabei Ausführungsfeedback mit der natürlichen Chain-of-Thought-Fähigkeit des Basis-LLM. Dadurch bleibt das Modell auf hohem kontextuellen Fokus und kann Fehler gezielt korrigieren.

In einer Vielzahl von Benchmark-Tests übertrifft IIPC die Konkurrenzansätze bei den meisten mathematischen Aufgaben und ist damit ein bedeutender Fortschritt für die zuverlässige symbolische Logik von KI-Systemen. Alle Code‑Implementierungen sind als Open‑Source verfügbar, sodass Forscher und Entwickler die Technik sofort nutzen und weiterentwickeln können.