KI News: Kurz und klar.

Mit TurboBoA wird die Quantisierung großer Sprachmodelle schneller und genauer, ohne dass Backpropagation nötig ist. Der neue Ansatz kombiniert die Vorteile des bisherigen BoA-Algorithmus mit einer drastischen Beschleunigung und verbessert gleichzeitig die Modellgenauigkeit.

In der Welt der großen Sprachmodelle ist die Quantisierung nach dem Training (PTQ) ein entscheidender Schritt, um Modelle effizienter zu machen, ohne ihre Leistung zu verlieren. Bisher beruhen die gängigen PTQ‑Methoden auf unterschiedlichen Heuristiken: Während AWQ sich auf die Größe der Aktivierungen konzentriert, nutzt GPTQ die Kovarianzstruktur der Eingaben, um Quantisierungsfehler zu verteilen. Diese Ansätze wirken zwar stark, bleiben jedoch konzeptionell fragmentiert.

Die Quantisierung großer Sprachmodelle reduziert die Kosten für deren Einsatz erheblich. Während die nachträgliche Quantisierung (PTQ) wegen ihrer Effizienz beliebt ist, leiden Low‑Bit‑PTQ‑Methoden häufig unter Genauigkeitsverlusten. Diese Probleme entstehen, weil die schichtweise Optimierung Fehler kumuliert und die lokalen Rekonstruktionsziele nicht mit der Endleistung übereinstimmen.