Neuralnetze mit funktoraler Architektur meistern Kompositionsgeneralisierung

Neuralnetze scheitern bislang daran, neue Kombinationen bekannter Teile korrekt zu verarbeiten – ein Problem, das nun als architektonische Schwäche identifiziert wird. Der neue Ansatz zeigt, dass die Fähigkeit zur Kompositionsgeneralisierung exakt der Funktorialität des Decoders entspricht. Durch diese Perspektive lassen sich sowohl Garantien als auch Unmöglichkeits­resultate ableiten.

Die Autoren wandeln Spezifikationen höherer induktiver Typen (HITs) in neuronale Architekturen um, indem sie einen monoidalen Funktor vom Pfad‑Gruppoid eines Zielraums in die Kategorie parametrischer Abbildungen einsetzen. Pfadkonstruktoren werden zu Generator‑Netzen, die Verkettung zu struktureller Konkatenation, und 2‑Zellen, die Gruppen­beziehungen beweisen, zu lernbaren natürlichen Transformationen. Sie beweisen, dass Decoder, die durch strukturelle Konkatenation unabhängiger Segmente zusammengesetzt werden, strenge monoidale Funktoren sind – also von vornherein kompositionsfähig. Im Gegensatz dazu ist Softmax‑Self‑Attention für jede nicht‑triviale Kompositionsaufgabe nicht funktorial.

Alle theoretischen Ergebnisse wurden in Cubical Agda formalisiert. Experimentell wurden drei Räume getestet: auf dem Torus (ℤ²) übertrifft ein funktoraler Decoder nicht‑funktorale Varianten um 2‑2,7‑fach; bei S¹ ∨ S¹ (F₂) vergrößert sich die Lücke zwischen Typ‑A und Typ‑B um 5,5‑10‑fach; und auf der Klinke (ℤ ⋊ ℤ) schließt ein gelerntes 2‑Zellen‑Modul einen Fehlerabstand von 46 % bei der Ausführung der Gruppenbeziehung. Diese Ergebnisse demonstrieren, dass funktorale Architekturen die bisherige Grenze der Kompositionsgeneralisierung deutlich verschieben.