Mehrschrittiges Denken bei KI: Tiefe, Gedächtnis und Laufzeitrechenleistung verbessern

Die Fähigkeit, mehrstufig zu denken, gilt als Schlüsselkompetenz großer Sprachmodelle. Trotz ihrer beeindruckenden Leistungen bleibt jedoch unklar, wie diese Systeme komplexe, mehrschrittige Argumentationen erlernen und ausführen. In einer neuen Studie wurde dieser Frage mit einem innovativen Ansatz aus der Zellautomaten-Forschung nachgegangen.

Die Forscher trainierten verschiedene neuronale Architekturen auf Sequenzen von Zuständen, die aus zufälligen booleschen Funktionen für zufällige Ausgangsbedingungen generiert wurden. Durch diese Konstruktion wurde das Memorieren von Trainingsdaten ausgeschlossen, sodass die Modelle gezwungen waren, die zugrunde liegenden Regeln zu abstrahieren. Die Ergebnisse zeigten, dass die meisten Architekturen die Regeln erfolgreich erlernten und bei der Vorhersage des nächsten Zustands hohe Genauigkeiten erreichten.

Allerdings nahmen die Leistungen bei mehrstufigen Vorhersagen drastisch ab. Die Untersuchung ergab, dass die Tiefe des Modells eine entscheidende Rolle bei sequentiellen Berechnungen spielt. Durch die Erweiterung der effektiven Tiefe mittels Rekurrenz, zusätzlichem Gedächtnis und einer Skalierung der Rechenleistung während der Testphase konnten die Modelle ihre mehrstufigen Denkfähigkeiten deutlich verbessern. Diese Erkenntnisse legen nahe, dass gezielte Architekturanpassungen das Potential haben, die kognitive Leistungsfähigkeit von KI-Systemen nachhaltig zu steigern.