NativeTernary: Binäres Encoding für ternäre KI-Modelle

Die neueste Veröffentlichung von BitNet b1.58 (Ma et al., 2024) hat gezeigt, dass große Sprachmodelle vollständig mit ternären Gewichten – {-1, 0, +1} – arbeiten können. Ein Problem blieb jedoch: Es existierte kein natives binäres Format, das diese Modelle effizient speichert. NativeTernary schließt diese Lücke, indem es ein neues binäres Encodierungsschema vorstellt, das die 2‑Bit‑Paar‑Räume in drei Daten­symbole für ternäre Werte (balanciert oder unbalanciert) und einen reservierten Strukturd­elimiter aufteilt.

Der zentrale Beitrag ist die Verwendung von unary run‑length encoding, um die semantische Hierarchie­tiefe darzustellen. Eine Folge von N aufeinanderfolgenden Delimiter‑Paaren kennzeichnet eine Grenze der Ebene N, wodurch Zeichen, Wörter, Sätze, Absätze und Themen mit 2, 4, 6, 8 bzw. 10 Bits codiert werden – ein Kostenmodell, das der Seltenheit der Grenzen entspricht. Die Wahl des Delimiters ist ein Designparameter: {11} bildet die Standard­implementierung mit einfacher OR‑Gate‑Erkennung, während {00} als Alternative für ultra‑niedrig‑leistungs‑CMOS‑Systeme optimiert ist und die Schaltaktivität minimiert.

NativeTernary bietet drei Varianten: (1) das Primärschema mit {11} als einziger Delimiter, (2) ein Dual‑Starter‑Modell, bei dem sowohl {10} als auch {11} unterschiedliche Symbol‑Namespaces eröffnen, und (3) eine Analyse der unbalancierten versus balancierten ternären Daten­zuordnung. Alle vier 2‑Bit‑Paar‑Optionen sind durch Patentanmeldungen abgedeckt.

Die Autoren skizzieren einen Weg zu einer ternären, nativen Recheninfrastruktur, die keine Hardware‑Änderungen erfordert, und heben Anwendungen hervor, die von der Speicherung von ternären KI‑Gewichten bis zur hierarchischen Codierung natürlicher Sprache reichen. Diese Innovation könnte die Effizienz und Flexibilität von KI‑Systemen erheblich steigern und neue Möglichkeiten für energieeffiziente, hochleistungsfähige Rechenplattformen eröffnen.