Interleaved Head Attention: Mehr Kommunikation zwischen Attention‑Köpfen

Die Multi‑Head Attention (MHA) bildet das Herz moderner Large Language Models, doch ihre lineare Skalierung birgt ein Problem: Jeder der H Köpfe erzeugt ein unabhängiges Aufmerksamkeits‑Matrix, ohne dass die Köpfe während der Berechnung miteinander kommunizieren. Für mehrstufige Schlussfolgerungen, bei denen Beweise aus verschiedenen Kontextteilen zusammengeführt werden müssen, ist das ein Engpass.

Mit Interleaved Head Attention (IHA) wird diese Einschränkung überwunden. IHA erzeugt pro Kopf P Pseudo‑Köpfe (typischerweise P = H), deren Query, Key und Value aus einer lernbaren linearen Kombination aller H ursprünglichen Queries, Keys und Values bestehen. Durch die Interaktion zwischen Pseudo‑Query‑ und Pseudo‑Key‑Köpfen entstehen bis zu P² neue Aufmerksamkeitsmuster pro Kopf, während der Parameteraufwand lediglich in O(H²P) steigt.

Theoretisch zeigt sich, dass IHA bei synthetischen Aufgaben effizienter ist: Auf dem Polynomial‑Task benötigt IHA Θ(√k n²) Parameter statt Θ(k n²) bei MHA, und auf dem order‑sensitiven CPM‑3‑Task reicht IHA mit ⌈√Nmax⌉ Köpfen, anstatt Nmax bei MHA. Diese Verbesserungen reduzieren die Modellgröße und erhöhen die Rechenleistung.

In realen Benchmarks liefert IHA signifikante Fortschritte: Bei der Multi‑Key‑Retrieval‑Aufgabe RULER steigt die Leistung um 10–20 % (4 k–16 k Parameter), und nach Feinabstimmung für das Reasoning‑Benchmark OpenThoughts verbessert IHA GSM8K um 5,8 % und MATH‑500 um 2,8 % (Majority‑Vote) gegenüber vollständiger Attention.