Laplacian-Mechanismus verbessert Transformer: Token-Geometrie neu gestaltet

In einer neuen Studie wird gezeigt, dass ein Laplacian‑Mechanismus die Leistung von Transformer‑Modellen deutlich steigert. Durch die gezielte Steuerung der Token‑Varianz über die Laplacian‑Modifikation erhalten die Modelle mehr Kontrolle über die interne Token‑Geometrie.

Die Autoren vermuten, dass diese direkte Kontrolle die ideale Token‑Geometrie fördert. Um diese Hypothese zu prüfen, wurden die Modelle in einer Vielzahl von Computer‑Vision‑ und Sprach‑Benchmarks getestet. Die Ergebnisse zeigen konsistente Verbesserungen gegenüber herkömmlichen Transformer‑Architekturen.

Zur Analyse der Token‑Geometrie wurden vier Methoden eingesetzt: Hauptkomponentenanalyse, Kosinus‑Ähnlichkeitsmetriken, Varianzanalyse und Neural‑Collapse‑Messungen. Die Untersuchungen verdeutlichen, dass der Laplacian‑Mechanismus die Token‑Einbettungen so umgestaltet, dass sie maximal trennbar werden. Tokens kollabieren nach Klassen, und die Klassenmittelwerte zeigen das Phänomen des Neural Collapse.

Diese Erkenntnisse legen nahe, dass die Laplacian‑Modifikation ein vielversprechender Ansatz ist, um die Effizienz und Genauigkeit von Transformer‑Modellen in verschiedensten Anwendungsbereichen zu erhöhen.