Allen Institute präsentiert Bolmo: Open‑Source Byte‑Level Sprachmodell

Das Allen Institute of AI (Ai2) hat mit Bolmo ein neues, tokenizerfreies Sprachmodell vorgestellt, das Unternehmen dabei unterstützt, robuste mehrsprachige KI‑Lösungen zu entwickeln. Durch die Nutzung von Byte‑Level‑Technologie wird die Abhängigkeit von vordefinierten Vokabularen eliminiert, was besonders in unstrukturierten oder ressourcenarmen Textumgebungen von Vorteil ist.

Bolmo kommt in zwei Varianten – Bolmo 7B und Bolmo 1B – und gilt als das erste vollständig offene Byte‑Level‑Modell. Die beiden Versionen wurden auf Basis der Olmo 3‑Architektur entwickelt und zeigen in Benchmark‑Tests eine Leistung, die mit anderen Byte‑Level‑ und Zeichen‑Modellen konkurriert oder diese sogar übertrifft. Damit bietet Bolmo eine leistungsstarke Alternative zu traditionellen Subword‑Modellen.

Byte‑Level‑Sprachmodelle verarbeiten Roh‑UTF‑8‑Bytes direkt, wodurch sie Tippfehler, seltene Sprachen und ungewöhnliche Textformen zuverlässig erkennen können. Diese Eigenschaften machen sie ideal für Moderationsaufgaben, Edge‑Deployments und Anwendungen, die in mehreren Sprachen arbeiten müssen, ohne die Komplexität eines Tokenizers zu erhöhen.

Ai2 hat Bolmo mit dem Dolma 3‑Datensatz sowie offenen Code‑ und Zeichen‑Datensätzen trainiert. Das Ziel ist es, ein reproduzierbares und prüfbares Blueprint zu liefern, das die Community nutzen kann, um starke Subword‑Modelle in Byte‑Level‑Modelle zu überführen, ohne von Grund auf neu zu beginnen.