KI News. Verstehen, was wichtig wird.

Suche Anmelden

Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “microscaling”

LATMiX: Lernbare Affine-Transformationen für die Microskalierung von LLMs

Die Post‑Training‑Quantisierung (PTQ) bleibt ein zentraler Ansatz, um die Speicher‑ und Rechenkosten großer Sprachmodelle drastisch zu senk…

arXiv – cs.LG 23.02.2026 05:00

<p>Microscaling in KI: Warum kleinere Blockgrößen nicht immer besser sind</p> <p>In der neuesten Studie zum Thema Microscaling-Quantisierung zeigen Forscher, dass die Kompression von großen Sprachmodellen durch per‑Block‑Tensor‑Quantisierung zwar enorme Speicherersparnisse ermöglicht, aber bei zu kleinen Blockgrößen unerwartet an Genauigkeit verliert. Dieses Phänomen widerspricht der Annahme, dass kleinere Blöcke eine feinere Repräsentation der Tensorwerte erlauben.</p> <p>Die Autoren untersuchten das Verha

arXiv – cs.LG 28.01.2026 05:00

MOSS: Effizientes FP8-Training für große Sprachmodelle

FP8-Formate versprechen enorme Effizienzgewinne beim Training großer Sprachmodelle, bringen jedoch die Herausforderung einer reduzierten nu…

arXiv – cs.LG 11.11.2025 05:00