Tokenisierung von Assemblersprache: entscheidend für LLMs & Transformer

Eine neue Studie aus dem arXiv-Repository beleuchtet die bislang wenig erforschte Rolle der Tokenisierung bei der Analyse von Assemblersprache. Dabei wird gezeigt, wie die Wahl des Tokenizers die Grundstruktur von Code‑Vokabularen, die semantische Abdeckung und letztlich die Leistung in nachgelagerten Aufgaben beeinflusst.

Die Forscher haben verschiedene NLP‑Tokenisierungsmodelle systematisch untersucht und dabei Parameter wie die Vokabulargröße sowie spezielle Vorverarbeitungsregeln für Assemblersprache berücksichtigt. Durch die Anpassung von Pre‑Tokenisierung‑Regeln konnten sie die Effizienz der Codierung von Maschinenbefehlen und die Erfassung semantischer Nuancen deutlich verbessern.

Zur Bewertung wurden moderne Transformer‑Architekturen eingesetzt: der decoder‑only Large Language Model Llama 3.2, der encoder‑only BERT sowie das encoder‑decoder‑Modell BART. Diese Modelle wurden mit den unterschiedlichen Tokenisierungsstrategien auf Aufgaben wie die Vorhersage von Funktionssignaturen getestet, einer Schlüsselaufgabe in der binären Code‑Analyse.

Die Ergebnisse zeigen, dass die Auswahl des Tokenizers einen signifikanten Einfluss auf die Leistung in nachgelagerten Aufgaben hat. Intrinsische Metriken wie Tokenisierungseffizienz und Vokabularkompression liefern zwar Hinweise, reichen aber nicht aus, um die extrinsische Performance vollständig vorherzusagen. Dies unterstreicht die Notwendigkeit, Tokenisierung als kritischen Faktor in der Pipeline von LLMs und Transformer‑Modellen zu betrachten.

Die Studie legt nahe, dass zukünftige Entwicklungen in der binären Code‑Analyse stärker auf die Optimierung von Tokenisierungsstrategien setzen sollten. Durch gezielte Anpassungen können sowohl die Effizienz als auch die Genauigkeit von Sprachmodellen für Assemblersprache nachhaltig gesteigert werden.