NVIDIA stellt Nemotron-3-Nano-30B in NVFP4 mit QAD für effiziente Inferenz vor

NVIDIA hat den Produktions-Checkpoint Nemotron‑Nano‑3‑30B‑A3B‑NVFP4 veröffentlicht, der ein 30‑Billionen‑Parameter‑Modell für logisches Denken in einem 4‑Bit‑NVFP4‑Format betreibt. Trotz der starken Quantisierung bleibt die Genauigkeit nahezu dem BF16‑Baseline‑Modell nahe.

Das Modell kombiniert eine hybride Mamba2‑Transformer‑Mixture‑of‑Experts‑Architektur mit einer speziell für NVFP4 entwickelten Quantization Aware Distillation (QAD)-Rezeptur. Durch diese Kombination wird die Effizienz bei der Inferenz drastisch erhöht, ohne die Leistungsfähigkeit zu beeinträchtigen.

Mit Nemotron‑3‑Nano‑30B demonstriert NVIDIA, dass hochkomplexe Reasoning‑Modelle in kompakteren Formaten betrieben werden können, was die Einsatzmöglichkeiten in ressourcenbeschränkten Umgebungen erheblich erweitert. Die Lösung gilt als besonders effizient und markiert einen wichtigen Schritt in der Weiterentwicklung von KI‑Inferenztechnologien.