Hydra: 1,6 Milliarden‑Parameter-Sprachmodell mit Attention, MoE und Speicher

Hydra ist ein neues Architekturkonzept für Sprachmodelle, die lange Kontexte verarbeiten können. Das Modell kombiniert einen Mamba‑ähnlichen Structured State Space Model (SSM) mit sparsamer globaler Attention, einem chunk‑basierten Mixture‑of‑Experts (MoE) und zwei Speicher‑Schichten – einem Arbeitsbereich und einem faktenbasierten PKM‑Speicher.

Die Autoren stellen die einzelnen Komponenten und deren Schnittstellen klar dar, geben eine transparente Parameter‑ und Komplexitätsrechnung an und skizzieren ein schrittweises Curriculum, um die einzelnen Module stabil zu aktivieren. Auf Basis von toy‑Skalen‑Messungen mit einigen zehn Millionen Parametern demonstrieren sie die Machbarkeit der Implementierung und zeigen qualitative Skalierungsverhalten wie einen Durchsatz‑Übergang bei langen Kontexten und kontrollierbare Expert‑Routings.

Hydra wird bewusst als Blaupause präsentiert, die weitere empirische Untersuchungen anregen soll. Die Autoren betonen offene Risiken wie Trainingskomplexität, Speicherverbrauch und Spezialisierungs‑Dynamik und geben an, dass die endgültige Leistungsbewertung bei Zielgröße noch aussteht. Das Ziel ist es, durch die Kombination von SSM‑Effizienz, selektiver sparsamer Attention, MoE‑Kapazität und lernbarem Speicher modulare, input‑adaptive Sprachmodelle zu ermöglichen.