LLMs im Fokus: Nachhaltige Bewertung von strukturierten Ausgaben mit TOON

Moderne Sprachmodelle werden zunehmend gefordert, strukturierte, maschinenlesbare Daten zu erzeugen. Während bisherige Benchmarks vor allem die strukturelle Richtigkeit dieser Ausgaben prüften, wurde der ökologische Fußabdruck der Inferenz bislang kaum berücksichtigt. In einer neuen Studie wird deshalb ein ganzheitlicher Ansatz vorgestellt, der sowohl die Genauigkeit als auch die Umweltverträglichkeit von Ausgabeformaten misst.

Der vorgeschlagene Rahmen erfasst Tokenverbrauch, Generierungszeit und geschätzte CO₂-Emissionen. Auf dieser Basis wird der Environment‑Aware Generation Correctness Score (GCS_env) definiert – ein einheitliches Maß, das strukturelle Korrektheit mit emissionsbewusster Effizienz verbindet.

Mit diesem Tool wurden die neuartigen TOON‑Format gegen etablierte Strukturen wie JSON, XML und YAML getestet. Dabei wurden mehrere große Sprachmodelle unterschiedlicher Architekturen und Parametergrößen einbezogen, um die Ergebnisse breit zu validieren.

Die Ergebnisse zeigen einen klaren Kompromiss: TOON liefert deutlich kompaktere Ausgaben und verursacht geringere Emissionen, leidet jedoch an geringerer struktureller Richtigkeit, wenn die Modelle das Format nicht nativ unterstützen. Größere Modelle verringern diese Lücke, und die umweltorientierte Bewertung kann die Rangfolge der Formate je nach Einsatzpriorität umstellen.

Die Studie unterstreicht die Notwendigkeit, Nachhaltigkeit in die Bewertung von Sprachmodellen einzubeziehen, und liefert konkrete Belege dafür, dass kompakte Formate wie TOON in groß angelegten, ressourcenschonenden Anwendungen Vorteile bieten können.