KI News: Kurz und klar.

Diskrete Diffusionsmodelle haben sich als vielversprechende Alternative zu autoregressiven Ansätzen etabliert, um diskrete Sequenzen zu generieren. Durch schrittweises Denoising oder Masking können sie hierarchische, nicht-sequenzielle Abhängigkeiten im Datenraum erfassen.

Die Verbreitung großer Sprachmodelle auf ressourcenbeschränkten Edge‑Geräten wird zunehmend durch hohe Speicher- und Rechenanforderungen gehemmt. Ternäre Quantisierung, bei der Gewichte auf die Werte –1, 0 und +1 reduziert werden, bietet einen vielversprechenden Ansatz, doch bisherige Implementierungen stoßen an die Grenzen handelsüblicher Hardware. Entweder werden 2‑Bit‑ausgerichtete Packungen verwendet, die zu erheblichem Bit‑Verlust führen, oder 1,67‑Bit‑irreguläre Packungen, die die Inferenzgeschwindigkeit beeinträchtigen.

Ein neues Verfahren namens Discrete Transformer eröffnet die Möglichkeit, aus trainierten Modellen eigenständig ausführbare Programme zu generieren. Durch die gezielte Trennung von numerischer Aufmerksamkeit und elementweiser Arithmetik wird die bisherige Schwierigkeit der Superposition – bei der sich Informationen in überlappenden Richtungen vermischen – überwunden. Das Ergebnis ist ein Modell, das nicht nur die Leistung traditioneller RNN-basierter Ansätze erreicht, sondern gleichzeitig die Interpretierbarkeit in kontinuierlichen Variablenbereichen deutlich verbessert.