KI News. Verstehen, was wichtig wird.

Suche Anmelden

Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “GGUF”

Quantisierung für Llama-3.1-8B-Instruct: Einheitliche Bewertung von llama.cpp

Quantisierung ist ein bewährtes Verfahren, um große Sprachmodelle ressourcenschonender zu betreiben. Durch die Reduktion der Präzision der…

arXiv – cs.LG 22.01.2026 05:00

LLMs auf Mobilgeräten: 4‑Bit‑Quantisierung reduziert Modellgröße um 69 %

Large Language Models (LLMs) bieten enorme Möglichkeiten, doch ihre Größe und der hohe Rechenaufwand machen ein direktes Ausführen auf Smar…

arXiv – cs.LG 09.12.2025 05:00

Qwen3-4B-Thinking: Mini-Model liefert große Leistung – Pelikan auf dem Fahrrad?<br/><p>Der chinesische KI-Hersteller Qwen hat letzte Woche zwei neue 4‑Billionen‑Parameter‑Modelle vorgestellt: Qwen3‑4B‑Instruct‑2507 und sein „Thinking“-Äquivalent Qwen3‑4B‑Thinking‑2507. Trotz ihrer geringen Größe von nur 4 GB im GGUF‑Format zeigen sie eine beeindruckende Leistungsfähigkeit, die weit über das hinausgeht, was man von so kleinen Modellen erwarten würde.</p><p>Der Autor nutzt die 8‑Bit‑Versionen in LM Studio auf

Simon Willison – Blog 11.08.2025 00:59