Code‑Formatierung: Der stille Kostenfaktor für LLMs

Eine neue Studie aus dem arXiv-Repository zeigt, dass die übliche Code‑Formatierung – Einrückungen, Zeilenumbrüche und ähnliche visuelle Hilfen – für große Sprachmodelle (LLMs) eigentlich nur unnötige Token erzeugt und damit die Rechenkosten erhöht.

Die Forscher führten umfangreiche Experimente mit zehn unterschiedlichen LLMs – sowohl kommerziellen als auch Open‑Source‑Modellen – durch und testeten sie an Code‑Completion‑Aufgaben in Java, Python, C++ und C#. Sie entfernten systematisch sämtliche Formatierungselemente und verglichen die Token‑Anzahl sowie die Leistung der Modelle.

Ergebnis: Die Modelle konnten die gleiche Genauigkeit beibehalten, während die Eingabetoken um durchschnittlich 24,5 % reduziert wurden. Die Ausgabetoken blieben nahezu unverändert, was die Antwortzeit und die Kosten für die Nutzung der Modelle deutlich senkt.

Darüber hinaus zeigten die Untersuchungen, dass gezieltes Prompting und Feintuning die Länge des ausgegebenen Codes um bis zu 36,1 % verringern können, ohne die Korrektheit zu beeinträchtigen.

Um diese Erkenntnisse praktisch nutzbar zu machen, haben die Autoren ein bidirektionales Tool entwickelt, das Code automatisch von formatiert nach unformatiert und zurück konvertiert. Damit können Entwickler ihre LLM‑Workflows optimieren und gleichzeitig die Lesbarkeit für Menschen beibehalten.