Neues Verfahren erkennt Fehler in LLM-generiertem SQL präzise auf Knotenebene

Ein innovatives Framework ermöglicht es, Fehler in SQL-Abfragen, die von großen Sprachmodellen (LLM) generiert wurden, auf der Ebene einzelner Knoten im abstrakten Syntaxbaum (AST) zu erkennen. Durch die Kombination eines semantisch bewussten Labeling-Algorithmus und eines leistungsstarken Klassifikators liefert das System hochpräzise Unsicherheitswerte für jede AST-Node.

Im ersten Schritt weist der Labeling-Algorithmus jedem Knoten eine Korrektheitsbewertung zu, ohne dabei strukturelle Container oder Aliasvariationen zu überbewerten. Anschließend werden für jeden Knoten umfangreiche, schema- und lexikalisch angereicherte Merkmale extrahiert – darunter Gültigkeit von Identifikatoren, Aliasauflösung, Typkompatibilität, Scope-Mehrdeutigkeiten und Tippfehler-Signale. Ein überwacht trainierter Klassifikator nutzt diese Features, um Fehlerwahrscheinlichkeiten zu schätzen, die als kalibrierte Unsicherheit interpretiert werden.

In umfangreichen Tests über mehrere Datenbanken und Datensätze hinweg übertrifft das Verfahren die herkömmlichen Token‑Log‑Probability‑Methoden deutlich. Der durchschnittliche AUC-Wert steigt um beeindruckende 27,44 % und bleibt dabei robust bei Cross‑Database‑Evaluierungen. Diese Ergebnisse zeigen, dass die knotenbasierte, semantisch fundierte Unsicherheitsabschätzung ein starkes und interpretierbares Alternative zu aggregierten Sequenz‑Level‑Vertrauensmaßen darstellt.

Die präzisen Unsicherheitswerte ermöglichen gezielte Reparaturen, eine effizientere menschliche Überprüfung und die selektive Ausführung von Abfragen. Damit eröffnet das Verfahren neue Möglichkeiten für die Qualitätssicherung von LLM-generierten SQL‑Skripten und die Integration in automatisierte Datenbank‑Workflows.