LLMs können Enterprise-ETL SQL wirklich debuggen? UnserBench zeigt die Grenzen

Die Erstellung fehlerfreier SQL-Abfragen bleibt auch für erfahrene Entwickler und moderne Text‑to‑SQL‑LLMs eine Herausforderung. Ein neues arXiv‑Paper präsentiert „OurBench“, einen ersten Benchmark, der speziell auf die Komplexität von Unternehmens‑ETL‑SQL abzielt.

OurBench nutzt ein automatisiertes Reverse‑Engineering‑Workflow, um realistische Fehler systematisch in große SQL‑Codebasen einzufügen. Dadurch entstehen skalierbare und vielfältige Testfälle, die typische Produktionsprobleme widerspiegeln.

Der Benchmark besteht aus 469 Syntax‑Fehler‑Abfragen, die explizite Fehlermeldungen erzeugen, und 516 semantischen Fehler‑Abfragen, bei denen die Logik nicht dem Nutzerintent entspricht. Die Abfragen sind im Durchschnitt über 140 Zeilen lang und besitzen tiefgreifende, weitreichende Syntaxbäume.

Eine Evaluation von fast 30 LLMs zeigt, dass selbst das leistungsstärkste Modell – Claude‑4‑Sonnet – lediglich 36,46 % der Syntax‑Fehler und 32,17 % der semantischen Fehler korrekt behebt. Die meisten Modelle liegen unter 20 % Genauigkeit.

Die Autoren untersuchen vier Lösungsansätze, identifizieren zentrale Herausforderungen und skizzieren vielversprechende Richtungen für die zukünftige Entwicklung von LLM‑gestütztem SQL‑Debugging in Unternehmensumgebungen.