KI-Modelle zeigen Schwächen bei fehlenden Regeln in Raven's Progressive Matrices

Ein neues arXiv‑Paper untersucht, wie gut moderne KI‑Systeme abstraktes Denken wirklich beherrschen. Dabei wird die bekannte Herausforderung der Raven's Progressive Matrices (RPM) genutzt, bei der Muster und Regeln aus einer Reihe von Bildern abgeleitet werden müssen.

Die Autoren haben gezielt mehrere strukturelle Regeln aus dem Trainingsdatensatz entfernt und anschließend sowohl sequentielle Transformer‑Modelle als auch bildbasierte Architekturen wie CoPINet und die Dual‑Contrast Network auf dem I‑RAVEN‑Datensatz getestet. Die Ergebnisse zeigen, dass die Transformer zwar bei bekannten Regeln stark abschneiden, jedoch bei neuen oder ausgelassenen Regeln stark an Leistung verlieren.

Besonders auffällig ist die Diskrepanz zwischen token‑basierten Genauigkeiten und der Gesamtantwortgenauigkeit, die auf grundlegende Einschränkungen der aktuellen Ansätze hinweist. Die Studie liefert damit wichtige Einblicke in die Mechanismen von Deep‑Learning‑Modellen und betont, dass zukünftige Architekturen über reine Mustererkennung hinausgehen müssen, um robustes abstraktes Denken zu ermöglichen.