Neue Test‑Time‑Quantisierung beschleunigt LLM‑Inference ohne Retraining

Die enorme Rechenlast großer Basismodelle hat die Forschung zu neuen Kompressionstechniken angetrieben. Dabei setzen aktuelle Methoden auf aktivitätsbasierte Quantisierung ohne erneutes Training, doch sie sind stark auf Kalibrierungsdaten angewiesen. Das führt zu Problemen, wenn ein Modell plötzlich in einem unbekannten Anwendungsbereich eingesetzt wird.

Um diesen Nachteil zu überwinden, schlägt die neue Studie einen Test‑Time‑Quantisierungs‑Framework vor, der große Modelle während der Inferenz sofort komprimiert. Durch eine effiziente Online‑Kalibrierung kann die Quantisierung jedes Prompt individuell anpassen, unabhängig vom jeweiligen Downstream‑Task, und gleichzeitig die Ausführungszeit deutlich reduzieren.

Mehrere Experimente zeigen, dass diese Test‑Time‑Quantisierung die Quantisierungsleistung gegenüber aktuellen Spitzenlösungen verbessert und damit einen wichtigen Schritt zur schnellen, ressourcenschonenden Nutzung von Large Language Models darstellt.