Chain-of-Query: Mehr Genauigkeit bei Tabellenverständnis mit LLMs und SQL

Das Verständnis von Tabellen erfordert strukturierte, mehrstufige Logik. Große Sprachmodelle (LLMs) kämpfen jedoch mit der Komplexität tabellarischer Daten, was die Genauigkeit bei der Analyse von Tabellen stark einschränkt.

In den letzten Monaten haben Multi-Agent-Frameworks für die SQL‑Generierung vielversprechende Fortschritte erzielt, doch sie leiden häufig unter fehlender Strukturverständnis, Fehler‑Propagation bei der Abfrageerstellung und einer zu starken Abhängigkeit von der Ausführungsrichtigkeit.

Chain‑of‑Query (CoQ) ist ein neu entwickeltes Multi‑Agenten‑Framework, das diese Schwächen gezielt adressiert. Durch die Darstellung von Tabellenschemata in natürlicher Sprache werden strukturelle Rauschen reduziert und das Verständnis verbessert.

CoQ nutzt eine schrittweise SQL‑Generierung, bei der jede Klausel einzeln erstellt wird, und trennt mechanisches SQL‑Rechnen von logischem LLM‑Inference. Diese hybride Aufteilung verringert die Abhängigkeit von Ausführungsergebnissen und erhöht die Qualität der erzeugten Abfragen.

In Experimenten mit vier Modellen – sowohl proprietär als auch Open‑Source – und fünf etablierten Benchmarks stieg die Genauigkeit von 61,11 % auf 74,77 %. Gleichzeitig sank die Rate ungültiger SQL‑Abfragen von 9,48 % auf 3,34 %. Diese Zahlen zeigen, dass Chain‑of‑Query das Tabellenverständnis deutlich verbessert.

Der komplette Code ist frei verfügbar unter https://github.com/SongyuanSui/ChainofQuery.