KI News: Kurz und klar.

FP8-Formate versprechen enorme Effizienzgewinne beim Training großer Sprachmodelle, bringen jedoch die Herausforderung einer reduzierten numerischen Präzision mit sich. Aktuelle Frameworks umgehen dies mit einer Mischgranularität‑Quantisierung: Aktivierungen werden gruppenweise quantisiert, während Gewichte tensor- oder blockweise behandelt werden. Diese Vorgehensweise führt jedoch zu zusätzlichem Dequantisierungsaufwand und erfordert häufig Just‑in‑Time‑Skalierung, was die erwarteten Leistungsverbesserungen von FP8 zunichte macht.

NVIDIA hat heute das neueste Modell der Nemotron Vision‑Language-Serie vorgestellt: Nemotron Nano V2 VL. Das System ist speziell für die Analyse von Dokumenten, die Verarbeitung langer Videos und komplexe Denkaufgaben konzipiert.

Mit dem stetigen Wachstum von Deep‑Learning‑Modellen und der zunehmenden Verbreitung von KI‑Anwendungen wird die Reduzierung von Speicher- und Übertragungskosten immer wichtiger. Ein neues Verfahren, das die erfolgreiche ZipNN‑Methode auf niedrigpräzise Fließkommaformate wie FP8 und FP4 ausweitet, zeigt, dass sogar diese kompakten Formate noch erheblich komprimiert werden können.

DeepSeek hat die Version 3.1 seines Flagship‑Large‑Language‑Models veröffentlicht. Die neue Release enthält einen FP8‑Datentyp, der die Kompatibilität mit heimischem Silizium deutlich verbessert.