DeepSeek präsentiert Engram: Konditionale Speicherachse für sparsames LLM
DeepSeek hat ein neues Modul namens Engram vorgestellt, das die Lücke in aktuellen Transformer-Modellen schließt. Während Transformer-Architekturen bereits auf Attention und Mixture-of-Experts (MoE) setzen, fehlt ihnen…
- DeepSeek hat ein neues Modul namens Engram vorgestellt, das die Lücke in aktuellen Transformer-Modellen schließt.
- Während Transformer-Architekturen bereits auf Attention und Mixture-of-Experts (MoE) setzen, fehlt ihnen eine native Möglichkeit, auf gespeichertes Wissen zuzugreifen.
- Dadurch werden dieselben lokalen Muster immer wieder neu berechnet, was sowohl die Tiefe als auch die FLOPs unnötig erhöht.
DeepSeek hat ein neues Modul namens Engram vorgestellt, das die Lücke in aktuellen Transformer-Modellen schließt. Während Transformer-Architekturen bereits auf Attention und Mixture-of-Experts (MoE) setzen, fehlt ihnen eine native Möglichkeit, auf gespeichertes Wissen zuzugreifen. Dadurch werden dieselben lokalen Muster immer wieder neu berechnet, was sowohl die Tiefe als auch die FLOPs unnötig erhöht.
Engram ergänzt die bestehende MoE-Struktur um eine konditionale Speicherachse. Diese ermöglicht es dem Modell, gezielt auf relevante Informationen zurückzugreifen, ohne die vorhandene Effizienz von MoE zu beeinträchtigen. Das Ergebnis ist ein sparsames Large Language Model, das schneller und ressourcenschonender arbeitet, während es gleichzeitig besser in der Lage ist, spezifisches Wissen abzurufen.
Die Veröffentlichung von Engram markiert einen bedeutenden Schritt in der Weiterentwicklung sparsamer KI-Modelle und zeigt, wie gezielte Speichermechanismen die Leistungsfähigkeit von Transformer-basierten Systemen nachhaltig steigern können.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.