Versor: Revolutionäre Geometrische Sequenzarchitektur übertrifft Transformer

Ein neues Forschungsprojekt namens Versor präsentiert eine völlig neue Art von Sequenzarchitektur, die Conformal Geometric Algebra (CGA) nutzt, um die traditionellen nichtlinearen Operationen zu ersetzen. Durch die Einbettung von Zuständen in das $Cl_{4,1}$-Manifold und deren evolutionäre Transformation mittels Rotoren kann Versor Beziehungen, die unter der Gruppe $SE(3)$ invariieren, direkt darstellen, ohne explizite Struktureinbettungen zu benötigen.

Die Architektur wurde auf einer breiten Palette von Aufgaben getestet, darunter chaotische N‑Body‑Dynamik, topologische Schlussfolgerungen und Standard‑Multimodal‑Benchmarks wie CIFAR‑10 und WikiText‑103. Im Vergleich zu Transformers, Graph‑Netzwerken und anderen geometrischen Baselines erzielte Versor konsequent bessere Ergebnisse. Dabei verwendet es bis zu 200‑mal weniger Parameter und erreicht eine lineare Komplexität von $O(L)$ dank des Recursive Rotor Accumulator.

Besonders hervorzuheben sind die interpretierbaren Aufmerksamkeitsmechanismen, die sich in Nähe‑ und Orientierungs­komponenten aufteilen lassen, sowie die Zero‑Shot‑Skalierungs­generalisierung, die bei topologischen Tests 99,3 % MCC erreichte – ein deutlich höherer Wert als die 50,4 % von ViT. In Out‑of‑Distribution‑Tests blieb Versor stabil, während Transformer‑Modelle versagten. Zusätzlich ermöglichen maßgeschneiderte Clifford‑Kernels einen bis zu 78‑fachen Geschwindigkeitsgewinn.

Versor bietet damit eine skalierbare, geometrisch bewusste Grundlage für wissenschaftliche Modellierung und demonstriert, dass die Integration von CGA in neuronale Architekturen sowohl Effizienz als auch Interpretierbarkeit erheblich steigern kann.