DeepSeek präsentiert Engram: Konditionale Speicherachse für sparsames LLM

DeepSeek hat ein neues Modul namens Engram vorgestellt, das die Lücke in aktuellen Transformer-Modellen schließt. Während Transformer-Architekturen bereits auf Attention und Mixture-of-Experts (MoE) setzen, fehlt ihnen eine native Möglichkeit, auf gespeichertes Wissen zuzugreifen. Dadurch werden dieselben lokalen Muster immer wieder neu berechnet, was sowohl die Tiefe als auch die FLOPs unnötig erhöht.

Engram ergänzt die bestehende MoE-Struktur um eine konditionale Speicherachse. Diese ermöglicht es dem Modell, gezielt auf relevante Informationen zurückzugreifen, ohne die vorhandene Effizienz von MoE zu beeinträchtigen. Das Ergebnis ist ein sparsames Large Language Model, das schneller und ressourcenschonender arbeitet, während es gleichzeitig besser in der Lage ist, spezifisches Wissen abzurufen.

Die Veröffentlichung von Engram markiert einen bedeutenden Schritt in der Weiterentwicklung sparsamer KI-Modelle und zeigt, wie gezielte Speichermechanismen die Leistungsfähigkeit von Transformer-basierten Systemen nachhaltig steigern können.