KI News: Kurz und klar.

NVIDIA hat den Produktions-Checkpoint Nemotron‑Nano‑3‑30B‑A3B‑NVFP4 veröffentlicht, der ein 30‑Billionen‑Parameter‑Modell für logisches Denken in einem 4‑Bit‑NVFP4‑Format betreibt. Trotz der starken Quantisierung bleibt die Genauigkeit nahezu dem BF16‑Baseline‑Modell nahe.

Ein neuer technischer Bericht auf arXiv präsentiert Quantization‑Aware Distillation (QAD) als effektive Lösung, um die Genauigkeit von NVFP4‑quantisierten großen Sprach‑ und Vision‑Language‑Modellen wiederherzustellen. QAD überträgt die Leistung eines Vollpräzisions‑Lehrmodells auf ein quantisiertes Schülermodell mithilfe einer KL‑Divergenz‑Verlustfunktion.