LLM-basierte SQL-Generierung: Prompting, Selbstverbesserung & Mehrheitsabstimmung

In der Welt der Datenanalyse hat die Text‑zu‑SQL-Technologie dank großer Sprachmodelle (LLMs) einen bemerkenswerten Aufschwung erlebt. Nutzer können jetzt Datenbanken mit natürlicher Sprache abfragen, anstatt sich mit komplexen SQL‑Skripten auseinanderzusetzen. Diese Entwicklung senkt die Einstiegshürde erheblich, doch die präzise Übersetzung von Sprachbefehlen in korrekte SQL‑Anweisungen bleibt eine Herausforderung.

Die Hauptprobleme liegen in der Mehrdeutigkeit von Nutzeranfragen, der schwierigen Zuordnung von Begriffen zu Tabellenspalten (Schema‑Linking), der begrenzten Übertragbarkeit auf verschiedene SQL‑Dialekte und dem Bedarf an domänenspezifischem Wissen. Um diesen Hürden entgegenzuwirken, hat ein neues Verfahren namens Single‑Agent Self‑Refinement with Ensemble Voting (SSEV) auf dem PET‑SQL‑Framework aufgebaut.

Der SSEV‑Prozess arbeitet ohne Ground‑Truth‑Daten und kombiniert eine selbstständige Verfeinerung der generierten SQL‑Abfragen mit einem gewichteten Mehrheitsabstimmungsmechanismus (Weighted Majority Voting, WMV) sowie einer zufälligen Variante (Randomized Weighted Majority Algorithm, RWMA). Durch diese Kombination kann das System Fehler erkennen und korrigieren, bevor die Abfrage ausgeführt wird.

Die Ergebnisse sind beeindruckend: Auf dem Spider‑Benchmark erreicht SSEV 85,5 % Ausführungsgenauigkeit im Dev‑Set und 86,4 % im Test‑Set. Auf dem BIRD‑Benchmark liegen die Zahlen bei 66,3 %. Diese Leistungen zeigen, dass das Verfahren auch bei komplexen, realen Datenbankstrukturen zuverlässig funktioniert.

Aus den Erkenntnissen des SSEV‑Pipelines wurde weiter der ReCAPAgent‑SQL-Ansatz entwickelt. Dieser nutzt mehrere spezialisierte Agenten – für Planung, externe Wissensabrufung, Kritik, Aktionsgenerierung, Selbstverbesserung, Schema‑Linking und Ergebnisvalidierung – die zusammenarbeiten, um SQL‑Vorhersagen iterativ zu verfeinern. Der gewichtete Mehrheitsabstimmungsmechanismus liefert dabei 31 % Ausführungsgenauigkeit bei den ersten 100 Abfragen des Spider‑Benchmarks.

Insgesamt demonstrieren diese Arbeiten, dass selbstlernende, agentenbasierte Systeme in Kombination mit gewichteten Abstimmungsstrategien die Grenzen der Text‑zu‑SQL-Technologie erweitern können. Sie ebnen den Weg für eine breitere Anwendung in Unternehmensdatenbanken und komplexen, realen Analyseaufgaben.