Suche nach INT8 | meineki.news

AngelSlim: Kompakteres, umfassenderes und effizienteres Toolkit für große Modelle

Das neue Toolkit AngelSlim, entwickelt vom Tencent Hunyuan Team, bietet eine umfassende Lösung zur Kompression großer KI‑Modelle. Durch die…

arXiv – cs.AI 26.02.2026 05:00

Forschung

Quantisierung von Sprachmodellen auf Ascend NPU: Erfolgreich, aber herausfordernd

Post‑Training‑Quantisierung (PTQ) ist ein entscheidender Schritt für die effiziente Bereitstellung von KI‑Modellen. Auf der Ascend NPU, ein…

arXiv – cs.AI 23.02.2026 05:00

Forschung

LOOKAT: Lookup-Optimierte Key‑Attention für Speicher‑effiziente Transformer

Die neueste Veröffentlichung von Forschern auf arXiv zeigt, wie man die Schlüssel‑ und Wert‑Cache‑Speicherung von großen Sprachmodellen dra…

arXiv – cs.LG 16.01.2026 05:00

Forschung

Neuer Quantisierer Quamba-SE verbessert Aktivierungsquantisierung in State‑Space‑Modellen

Die neueste Veröffentlichung auf arXiv (2601.09451v1) präsentiert Quamba-SE, einen Soft‑Edge‑Quantisierer, der die Aktivierungsquantisierun…

arXiv – cs.LG 15.01.2026 05:00

Forschung

GPU-gestützte INT8‑Quantisierung reduziert KV‑Cache‑Memory um 4× bei LLMs

In großen Sprachmodellen wächst der Key‑Value‑Cache (KV‑Cache) linear mit der Sequenzlänge und kann sogar mehr Speicher beanspruchen als di…

arXiv – cs.LG 09.01.2026 05:00

Forschung

Quantisierung von LLMs: 4‑Bit‑Modelle behalten kausale Genauigkeit bei

Eine neue Studie aus dem arXiv‑Repository untersucht, wie stark die Reduktion der numerischen Präzision bei großen Sprachmodellen die Fähig…

arXiv – cs.AI 17.12.2025 05:00

Forschung

Quantisierung macht Backdoor-Abwehr – Modelle verlieren Schutz bei INT8

Neutrale Netzwerke, die heimlich bösartige Eingaben erkennen, bleiben bei hoher Genauigkeit ein ernstes Risiko für produktive KI-Systeme. D…

arXiv – cs.LG 09.12.2025 05:00

Forschung

Quant-Trim: Low-Bit-Deployment auf Edge‑NPU ohne Vendor‑Abhängigkeiten

Quant‑Trim bringt die Low‑Bit‑Quantisierung von Edge‑Acceleratoren auf ein neues Level. Durch einen gezielten Trainingsschritt erzeugt die…

arXiv – cs.LG 20.11.2025 05:00

Forschung

FiCABU: Kontext‑angepasstes Unlearning für Edge‑AI – effizient und praktisch

Die wachsende Nachfrage nach Machine‑Unlearning, ausgelöst durch Datenschutzgesetze und das „Recht auf Vergessen“, trifft besonders auf Edg…

arXiv – cs.LG 11.11.2025 05:00

Aktuell

NVIDIA Tensor Cores: Von Volta bis Blackwell – ein Quantensprung

NVIDIA hat mit der Volta‑Architektur im Jahr 2017 erstmals spezialisierte Tensor Cores eingeführt, die die Berechnung von Matrix‑Multiplika…

SemiAnalysis 23.06.2025 07:03

Finde Modelle, Firmen und Themen

AngelSlim: Kompakteres, umfassenderes und effizienteres Toolkit für große Modelle

Quantisierung von Sprachmodellen auf Ascend NPU: Erfolgreich, aber herausfordernd

LOOKAT: Lookup-Optimierte Key‑Attention für Speicher‑effiziente Transformer

Neuer Quantisierer Quamba-SE verbessert Aktivierungsquantisierung in State‑Space‑Modellen

GPU-gestützte INT8‑Quantisierung reduziert KV‑Cache‑Memory um 4× bei LLMs

Quantisierung von LLMs: 4‑Bit‑Modelle behalten kausale Genauigkeit bei

Quantisierung macht Backdoor-Abwehr – Modelle verlieren Schutz bei INT8

Quant-Trim: Low-Bit-Deployment auf Edge‑NPU ohne Vendor‑Abhängigkeiten

FiCABU: Kontext‑angepasstes Unlearning für Edge‑AI – effizient und praktisch

NVIDIA Tensor Cores: Von Volta bis Blackwell – ein Quantensprung

🍪 Cookie-Einstellungen