Neues Taxonomie-Framework deckt Affinitätslücke bei Transformer-Architekturen auf
Ein internationales Forschungsteam hat ein neuartiges 9‑Kategorien-Framework vorgestellt, das sämtliche 400 Aufgaben des ARC‑AGI‑2‑Datensatzes systematisch klassifiziert. Die Taxonomie wurde mit einer regelbasierten Codeanalyse auf 97,5 % Genauigkeit validiert und bietet damit eine robuste Grundlage für die Analyse von Aufgabenkomplexität.
Um die visuelle Kohärenz der Taxonomie zu demonstrieren, wurde ein Convolutional Neural Network auf rohe Rasterpixel trainiert. Das Modell erreichte 95,24 % Genauigkeit auf dem S3‑Set, 36,25 % insgesamt und übertraf die Zufallswahrscheinlichkeit um das 3,3‑fache. Anschließend wurde die Taxonomie diagnostisch auf den ursprünglichen ARC‑AGI‑2‑Test angewendet.
Die Curriculum‑Analyse zeigte, dass 35,3 % der Aufgaben eine geringe neuronale Affinität für Transformer‑Architekturen aufweisen – ein Bias, der die Verteilung im ARC‑AGI‑2‑Set widerspiegelt. Um diese Diskrepanz zu untersuchen, wurde ein 1,7‑Mio‑Parameter‑Transformer über 302 Aufgaben feinabgestimmt. Dabei wurde ein deutlicher „Compositional Gap“ sichtbar: 210 von 302 Aufgaben (69,5 %) erzielten über 80 % Zellgenauigkeit, jedoch weniger als 10 % Gittergenauigkeit. Dies liefert direkte Belege für einen „Neural Affinity Ceiling Effect“, bei dem die Leistung durch die architektonische Eignung begrenzt ist und nicht durch das Curriculum.
Die Anwendung des Frameworks auf die unabhängige ViTARC‑Studie von Li et al. (400 Spezialisten, je 1 Mio Beispiele) bestätigte dessen Vorhersagekraft. Aufgaben mit sehr niedriger Affinität erreichten 51,9 % Genauigkeit, während hochaffine Aufgaben 77,7 % erreichten (p < 0,001). Ein bemerkenswertes Beispiel zeigte 0 % Genauigkeit trotz massiver Datenmenge. Die Taxonomie ermöglicht eine präzise Diagnose: Niedrigaffine Aufgaben (A2) stoßen auf harte Leistungsdecks, während hochaffine Aufgaben (C1) nahezu perfekte Ergebnisse liefern.
Die Ergebnisse deuten klar darauf hin, dass Fortschritte in der abstrakten Problemlösung nur durch hybride Architekturen erzielt werden können, die modulare Komponenten mit entsprechender Affinität kombinieren. Das Team veröffentlicht die validierte Taxonomie, um Forschern weltweit ein Werkzeug für die gezielte Analyse und Optimierung von KI‑Modellen bereitzustellen.