ASCIIBench: Neues Benchmark für die Bewertung von LLMs in ASCII-Text

Ein neues Benchmark namens ASCIIBench wurde auf arXiv veröffentlicht und richtet sich an die Bewertung von großen Sprachmodellen (LLMs) im Umgang mit ASCII‑Text. Die Autoren zeigen, dass LLMs zwar beeindruckende Fortschritte bei logischem Denken und flüssiger Textgenerierung gemacht haben, aber weiterhin Schwierigkeiten bei Aufgaben mit präziser räumlicher und positionsbezogener Logik haben.

ASCII‑Kunst, bei der Zeichen Strukturen und Formen darstellen, bietet einen einzigartigen Test für diese Schwäche. ASCIIBench besteht aus einem sorgfältig gefilterten Datensatz von 5.315 klassifizierten ASCII‑Bildern und ist damit das erste öffentlich verfügbare Benchmark dieser Art.

Zusätzlich zum Datensatz stellen die Forscher feinabgestimmte CLIP‑Gewichte bereit, die speziell auf die Erkennung von ASCII‑Strukturen ausgelegt sind. Damit können LLM‑generierte ASCII‑Kunstwerke objektiv bewertet werden.

Die Analyse zeigt, dass die klassische Cosinus‑Ähnlichkeit von CLIP‑Einbettungen die meisten ASCII‑Kategorien nicht unterscheiden kann, was zu einer Leistung auf Zufallsniveau führt – selbst bei Klassen mit geringer Varianz. Nur bei Klassen mit hoher innerer Ähnlichkeit lassen sich klare Unterscheidungen treffen, was darauf hindeutet, dass das Problem in der Repräsentation liegt, nicht in der Generierung.

Diese Erkenntnisse positionieren ASCII‑Kunst als effektiven Belastungstest für multimodale Repräsentationen und regen die Entwicklung neuer Einbettungs‑ oder Bewertungsmethoden für symbolische visuelle Modalitäten an. Alle Ressourcen, einschließlich des Datensatzes und der CLIP‑Gewichte, sind unter https://github.com/ASCIIBench/ASCIIBench verfügbar.