CellARC: Neues Benchmark für KI-Intelligenzmessung mit Zellautomaten

Die Wissenschaftler haben CellARC vorgestellt, ein synthetisches Benchmark-System, das die Fähigkeit von Modellen zur Abstraktion und zum logischen Denken anhand von mehrfarbigen eindimensionalen Zellautomaten (CA) testet. Jede Episode besteht aus fünf Unterstützungsbeispielen und einer Abfrage, die in 256 Token zusammengefasst sind. Dadurch lassen sich schnelle Experimente mit kleinen Modellen durchführen, während gleichzeitig ein kontrollierbarer Aufgabenraum mit einstellbaren Parametern wie Alphabetgröße, Radius, Regelfamilie, Langtons Lambda, Abfrageabdeckung und Zellentropie bereitgestellt wird.

Die Autoren veröffentlichen 95.000 Trainingsepisoden sowie zwei Testsets mit je 1.000 Aufgaben – eines für Interpolation und eines für Extrapolation. Sie evaluieren eine breite Palette von Modellen, darunter symbolische, rekurrente, konvolutionale, transformerbasierte, rekursive und große Sprachmodelle. Das stärkste kleine Modell, ein 10‑Millionen‑Parameter‑Transformer, erzielt 58,0 % bzw. 32,4 % pro‑Token‑Genauigkeit auf den Interpolations‑ bzw. Extrapolations‑Sätzen. Ein großes, geschlosseneres Modell erreicht 62,3 % bzw. 48,1 % auf Teilmengen von 100 Testaufgaben.

Ein Ensemble, das pro Episode zwischen dem Transformer und dem besten symbolischen Baseline wählt, erreicht 65,4 % bzw. 35,5 %. Diese Ergebnisse unterstreichen die Komplementarität von neuronalen und symbolischen Ansätzen. CellARC trennt die Generalisierung von anthropomorphen Vorannahmen, erlaubt unendliche, schwierigkeitskontrollierte Stichproben und fördert reproduzierbare Studien darüber, wie schnell Modelle neue Regeln unter begrenzten Ressourcen erlernen.