MIDUS: Mit Kopf‑Weiser Speicher‑Technik LLMs effizient skalieren

Die Skalierung großer Sprachmodelle erfordert neue Ansätze, die die Kapazität erhöhen, ohne die Parameterzahl oder die Inferenzkosten stark zu steigern. Eine vielversprechende Methode ist Depth Up‑Scaling (DUS), bei dem Schichten dupliziert und mit kontinuierlichem Pre‑Training (CPT) erweitert werden. Allerdings beschränkt die Nutzung von Feed‑Forward‑Netzwerken (FFNs) die Effizienz und die erreichbaren Leistungssteigerungen.

Hier kommt MIDUS – Memory‑Infused Depth Up‑Scaling – ins Spiel. Anstelle von FFNs werden in den duplizierten Blöcken Kopf‑weise Speicher‑Layer (HML) eingesetzt. Da Attention‑Heads unterschiedliche Rollen innerhalb und zwischen Schichten übernehmen, erhält MIDUS jedem Head ein eigenes Speicher‑Bank. Dadurch kann jeder Kopf gezielt Informationen abrufen und in nachfolgende Schichten einfließen, ohne die funktionale Struktur der Heads zu verändern.

Die Kombination aus sparsamer Speicher‑Zugriff, Kopf‑weisen Repräsentationen und einer effizienten Wert‑Faktorisierung ermöglicht MIDUS, die übliche Effizienz‑Leistungs‑Trade‑off zu lockern. In umfangreichen CPT‑Experimenten übertrifft MIDUS robuste DUS‑Baselines, während es gleichzeitig einen sehr schlanken Parameter‑Footprint beibehält. Diese Ergebnisse zeigen, dass MIDUS eine ressourcenschonende Alternative zur herkömmlichen FFN‑Replikation darstellt und die Skalierung von Sprachmodellen durch Kopf‑weise Speicher‑Design vorantreibt.