TOON vs JSON: Benchmark zeigt Token‑Effizienz, Genauigkeit bleibt bei JSON

Die neu vorgestellte Token‑Oriented Object Notation (TOON) verspricht, JSON als Serialisierungsformat für strukturierte Daten an LLMs zu ersetzen und dabei die Token‑Kosten deutlich zu senken. In einem aktuellen Benchmark wurden die drei Ansätze – reine JSON‑Generierung, JSON‑Generierung mit konstrainingem Decoding und TOON‑Generierung mittels One‑Shot‑In‑Context‑Learning – systematisch miteinander verglichen.

Der Testaufbau umfasste mehrere Szenarien mit unterschiedlicher struktureller Komplexität. Für jede Variante wurde ein Validierungs‑Pipeline eingesetzt, um die Genauigkeit der erzeugten Daten zu prüfen. Ziel war es, die Token‑Effizienz zu messen und gleichzeitig die Qualität der Ausgaben zu bewerten.

Die Ergebnisse zeigen, dass TOON in in‑Domain‑Aufgaben ein vielversprechendes Verhältnis von Genauigkeit zu Token‑Verbrauch aufweist. Dieser Vorteil wird jedoch durch die zusätzliche Prompt‑Kosten, die bei kürzeren Kontexten entstehen, teilweise aufgehoben. Die reine JSON‑Generierung liefert die höchste Genauigkeit, selbst im Vergleich zu konstrainingem Decoding. Letzteres spart zwar Token, führt aber zu einer leicht geringeren Genauigkeit und bei einigen Modellen zu deutlichen Qualitätsverlusten.

Für einfache Strukturen bleibt konstraininges Decoding die token‑effizienteste Lösung, während TOON besonders bei komplexeren Datenstrukturen interessant erscheint. Zukünftige Arbeiten werden sich darauf konzentrieren, TOON mit konstrainingem Decoding zu kombinieren, um die Token‑Kosten weiter zu reduzieren, ohne die Genauigkeit zu gefährden.