Retrieval‑Aware Distillation: Hybrid‑Model vereint Transformer und SSM effizient

In einer neuen Veröffentlichung auf arXiv wird ein innovativer Ansatz vorgestellt, der die Stärken von State‑Space‑Modellen (SSMs) mit der Retrieval‑Fähigkeit von Transformers kombiniert. Der Ansatz, genannt Retrieval‑Aware Distillation, schafft ein sparsames Hybrid‑Modell, das die Leistungsfähigkeit von Transformers bei in‑Context‑Retrieval‑Aufgaben nahezu reproduziert, jedoch mit deutlich geringerer Speicher­belastung.

SSMs sind bekannt für ihre Effizienz bei der Verarbeitung langer Sequenzen, doch sie hinterlassen bei Aufgaben, die stark auf Retrieval angewiesen sind, oft einen Leistungsrückstand gegenüber Transformers. Dieser Unterschied wird auf ein kleines Set von Attention‑Köpfen zurückgeführt, die als Gather‑and‑Aggregate‑Heads (G&A) bezeichnet werden und die Retrieval‑Funktionalität maßgeblich steuern. Die neue Methode identifiziert diese kritischen Köpfe durch gezielte Ablation‑Tests auf einem synthetischen Retrieval‑Task und behält lediglich 2 % der ursprünglichen Attention‑Köpfe bei.

Die übrigen Köpfe werden in rekurrente Strukturen überführt, wodurch das Modell die Retrieval‑Aufgabe weiterhin zuverlässig löst. In einem 1 B‑Parameter‑Modell reicht die Beibehaltung von nur zehn Köpfen, um mehr als 95 % der Leistung des ursprünglichen Transformers zu erreichen – ein deutlich kleinerer Anteil als bei bisherigen Hybrid‑Ansätzen, die mindestens 25 % der Köpfe benötigen. Gleichzeitig kann die Größe des SSM‑Backbones um bis zu achtmal reduziert werden, ohne die Retrieval‑Leistung wesentlich zu beeinträchtigen.

Durch die gleichzeitige Reduktion des Attention‑Caches und des SSM‑Zustands wird das Hybrid‑Modell 5 bis 6 mal speichereffizienter als vergleichbare Modelle. Damit schließt die Retrieval‑Aware Distillation die Leistungs­lücke zwischen Transformers und SSMs nahezu vollständig, während sie gleichzeitig die Kosten für Speicher und Rechenleistung drastisch senkt – ein bedeutender Fortschritt für die Entwicklung großer, ressourcenschonender Sprachmodelle.