meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Decodierung”
Forschung

<p>Neues Modell: Selbstkorrigierende diskrete Diffusion steigert parallele Decodierung</p> <p>Ein kürzlich auf arXiv veröffentlichtes Papier (2603.02230v1) präsentiert einen innovativen Ansatz zur Verbesserung der parallelen Sampling‑Leistung in diskreten Diffusionsmodellen. Durch die Einführung von Selbstkorrektur kann das Modell die Qualität der generierten Texte beibehalten, während die Effizienz der Parallelverarbeitung deutlich erhöht wird.</p> <p>Frühere Versuche, Selbstkorrektur erst während der Infe
arXiv – cs.LG
Forschung

<h1>Sketch-and-Walk: Sparsere Attention für schnellere LLM‑Inferenz</h1> <p>Die Selbstaufmerksamkeit ist der Hauptfaktor, der die Rechen- und Speicher­kosten bei der Inferenz von großen Sprachmodellen (LLMs) mit langen Kontexten bestimmt. Sowohl die Vor‑ als auch die Decodierungsphase sind dadurch stark belastet.</p> <p>Um dieses Problem zu lösen, wurde Sketch&Walk Attention entwickelt – ein sparsames Aufmerksamkeitsverfahren, das ohne Training auskommt. Es nutzt Hadamard‑Sketching, um kostengünstige Schätz
arXiv – cs.LG