HiFloat4: Neues Floating-Point-Format steigert Genauigkeit bei Sprachmodellen
In einer kürzlich veröffentlichten Arbeit auf arXiv (2602.11287v1) stellt das Forschungsteam das neue HiFloat4 (HiF4)-Format vor – ein block‑floating‑point-Datenformat, das speziell für Deep‑Learning‑Anwendungen entwick…
- In einer kürzlich veröffentlichten Arbeit auf arXiv (2602.11287v1) stellt das Forschungsteam das neue HiFloat4 (HiF4)-Format vor – ein block‑floating‑point-Datenformat…
- HiF4 packt 64 vierbitige Werte in einer Einheit zusammen und nutzt dafür 32 Bit gemeinsamer Skalierungsmetadaten.
- Durch die dreistufige Skalierungshierarchie werden sowohl die dynamische Reichweite zwischen als auch innerhalb von Gruppen optimal abgebildet, was die Ausnutzung des Re…
In einer kürzlich veröffentlichten Arbeit auf arXiv (2602.11287v1) stellt das Forschungsteam das neue HiFloat4 (HiF4)-Format vor – ein block‑floating‑point-Datenformat, das speziell für Deep‑Learning‑Anwendungen entwickelt wurde.
HiF4 packt 64 vierbitige Werte in einer Einheit zusammen und nutzt dafür 32 Bit gemeinsamer Skalierungsmetadaten. Durch die dreistufige Skalierungshierarchie werden sowohl die dynamische Reichweite zwischen als auch innerhalb von Gruppen optimal abgebildet, was die Ausnutzung des Repräsentationsraums deutlich verbessert. Die große Gruppengröße von 64 Elementen ermöglicht zudem Matrixmultiplikationen in nahezu festem Punkt, wodurch Hardwarefläche und Stromverbrauch reduziert werden.
Die Autoren führten Inferenztests an mehreren Sprachmodellen – darunter LLaMA, Qwen, Mistral, DeepSeek‑V3.1 und LongCat – durch. Die Ergebnisse zeigen, dass HiF4 im Vergleich zum aktuellen NVFP4-Standard eine höhere durchschnittliche Genauigkeit erzielt und dabei vielseitige Downstream‑Aufgaben über mehrere Modelle hinweg unterstützt.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.