KI News: Kurz und klar.

Die neuesten Fortschritte in großen Sprachmodellen (LLMs) liefern beeindruckende Leistungen, doch ihre hohen Rechen- und Speicheranforderungen erschweren die Nutzung in ressourcenbeschränkten Umgebungen. Eine vielversprechende Lösung ist die gewichtsbasierten Post-Training-Quantisierung (PTQ), die Speicherbedarf reduziert und Geschwindigkeit erhöht, ohne dass spezielle Hardware oder Low-Bit-Operatoren nötig sind. In der Praxis leiden jedoch die Genauigkeit und Stabilität bei Unter-4-Bit-Präzision stark, was die breite Anwendung behindert.

Die neueste Forschung im Bereich der Post-Training-Quantisierung (PTQ) hat gezeigt, dass Blockrotationen ein vielversprechendes Mittel sind, um Ausreißer vor dem Runden zu streuen. Doch bislang blieb unklar, wie stark die Blockstruktur die Ausreißerunterdrückung tatsächlich beeinflusst. Mit einer ersten systematischen, nicht asymptotischen Analyse der Block-Hadamard-Rotation haben die Autoren dieses Papiers die Grenzen des Effekts auf die Geometrie des Eingangsvektors gelegt.

Eine neue Studie von Forschern auf arXiv zeigt, dass quantisierungsbewusstes Training (QAT) die Leistung von Sprachmodellen, die für komplexe Aufgaben wie Programmieren und Mathematik ausgelegt sind, deutlich verbessert. Während herkömmliche Post‑Training‑Quantisierung (PTQ) oft zu starken Genauigkeitsverlusten führt, liefert QAT robuste Ergebnisse, selbst bei sehr niedrigen Bit‑Raten.

Das Betreiben großer Sprachmodelle auf mobilen Geräten ist wegen begrenzter Speicher‑ und Rechenressourcen besonders schwierig. Die verfügbare Kapazität hängt zudem von der aktuellen Auslastung des Geräts ab, was die Zuverlässigkeit von Deployments stark beeinträchtigt.

Mit dem neuen Framework BayesQ wird die Post‑Training‑Quantisierung von neuronalen Netzen auf ein völlig neues Niveau gehoben. BayesQ nutzt eine leichtgewichtige Gaußsche Posteriorverteilung über die Gewichte – standardmäßig eine diagonale Laplace‑Approximation, optional erweitert um K‑FAC oder Low‑Rank‑Methoden – und wendet eine Whitening‑Transformation an, die die Posterior‑Kovarianz berücksichtigt. Dadurch kann das Modell die Unsicherheit in jedem Gewicht exakt erfassen und in die Quantisierung einfließen lassen.

Die gleichzeitige Gewährleistung von Sicherheit und Effizienz stellt bei der Bereitstellung großer Sprachmodelle (LLMs) eine zentrale Herausforderung dar. Während die Modelle darauf trainiert werden, menschliche Sicherheitsrichtlinien einzuhalten, wird anschließend eine Post‑Training‑Quantisierung (PTQ) eingesetzt, um die Rechenkosten zu senken. Doch die beiden Ziele kollidieren häufig: Eine reine Optimierung der Perplexität kann die Sicherheitsausrichtung des Modells schwächen, sodass ein Modell zwar niedrigere Perplexität aufweist, aber die Sicherheitsrichtlinien deutlich schlechter befolgt.

Die neue Methode Beacon revolutioniert die Post‑Training‑Quantisierung (PTQ) großer vortrainierter Modelle. Sie ersetzt die bisher üblichen manuellen Skalierungstuning‑Schritte durch einen automatischen, geometrie‑basierten Ansatz, der die optimalen Skalierungs­faktoren direkt aus dem quantisierten Gitter bestimmt.