EsoLang-Bench: KI testen in exotischen Programmiersprachen

Ein neues Benchmark namens EsoLang-Bench wurde entwickelt, um die echte Denkfähigkeit großer Sprachmodelle zu prüfen. Dabei werden fünf seltene Programmiersprachen – Brainfuck, Befunge‑98, Whitespace, Unlambda und Shakespeare – eingesetzt, die zwar dieselben Rechenprinzipien wie gängige Sprachen nutzen, aber weit weniger öffentliche Repositorien besitzen.

Die Autoren vergleichen fünf führende Modelle unter fünf unterschiedlichen Prompting‑Strategien. Während die Modelle auf herkömmlichen Code‑Generierungs‑Benchmarks mit 85 % bis 95 % Genauigkeit abschneiden, erreichen sie bei den esoterischen Aufgaben lediglich 0 % bis 11 % – und übersteigen kaum die „Easy“-Stufe. Selbst Few‑Shot‑Learning und Selbstreflexion verbessern die Ergebnisse nicht, was darauf hindeutet, dass diese Techniken eher auf Trainingsvorwissen zurückgreifen als auf echtes Lernen.

EsoLang-Bench simuliert den menschlichen Lernprozess: Modelle müssen neue Sprachen anhand von Dokumentation, Interpreter‑Feedback und iterativer Experimentierung erlernen. Dadurch wird die Übertragbarkeit von Denkfähigkeiten gemessen, die nicht durch Datenkontamination beeinflusst wird. Das Benchmark bietet damit erstmals ein Werkzeug, um die wahre Problemlösungsfähigkeit von KI-Systemen zu bewerten.