Olmo Hybrid: Von der Theorie zur Praxis und zurück

Neue Forschungsergebnisse zeigen das enorme Potenzial von nicht‑Transformer-Sprachmodellen, insbesondere linearer RNNs und hybrider Modelle, die Rekurrenz und Aufmerksamkeit kombinieren.

Ob die Vorteile dieser neuen Architekturen die Risiken und den Aufwand einer Skalierung rechtfertigen, ist bislang umstritten.

Wir liefern nun überzeugende Belege dafür, dass hybride Modelle reine Transformer in mehreren Bereichen übertreffen.

Theoretisch demonstrieren wir, dass hybride Modelle nicht nur die Ausdruckskraft von Transformern und linearen RNNs erben, sondern Aufgaben lösen können, die beide übersteigen – etwa die Ausführung von Code.

In der Praxis haben wir Olmo Hybrid trainiert, ein 7‑Billionen‑Parameter‑Modell, das Olmo 3 7B ähnlich ist, jedoch die Sliding‑Window‑Schichten durch Gated‑DeltaNet‑Schichten ersetzt.

Olmo Hybrid übertrifft Olmo 3 bei Standard‑Pretraining‑ und Mid‑Training‑Evaluierungen, was die Vorteile hybrider Modelle in einer kontrollierten, groß angelegten Umgebung deutlich macht.

Das hybride Modell skaliert deutlich effizienter als der reine Transformer, was die höhere Leistung erklärt.

Wir untersuchen, warum eine höhere Ausdruckskraft bei spezifischen formalen Problemen zu besserer Skalierung und überlegener Leistung bei nicht verwandten Down‑stream‑Aufgaben führen kann, und zeigen mit einer theoretischen Argumentation, dass erweiterte Ausdruckskraft zu besserer Skalierungseffizienz führt.

Unsere Ergebnisse deuten darauf hin, dass hybride Modelle, die Aufmerksamkeit und rekurrente Schichten kombinieren, eine leistungsstarke Erweiterung darstellen.