ConstrainedSQL: LLMs für Text2SQL mit konstrahiertem Reinforcement Learning trainieren

Reinforcement Learning (RL) hat großes Potenzial, die Fähigkeit von Large Language Models (LLMs) zur Lösung von Text‑zu‑SQL‑Aufgaben zu verbessern. Frühere Ansätze wie GRPO und DAPO zeigen beeindruckende Ergebnisse, sind jedoch stark von der Gestaltung der Belohnungsfunktion abhängig. Ungeeignete Belohnungen können zu „Reward‑Hacking“ führen, bei dem Modelle die Belohnungsstruktur ausnutzen, ohne die eigentliche Aufgabe zu lösen.

In dieser Arbeit wird ein konstrahiertes RL‑Framework vorgestellt, das natürliche und leicht interpretierbare Belohnungs‑ und Einschränkungssignale nutzt. Durch eine dynamische Balance zwischen Belohnung und Restriktionen wird das Training robuster gestaltet. Der Ansatz wird theoretisch fundiert und liefert Garantien für die Stabilität des Lernprozesses.

Numerische Experimente auf etablierten Text‑zu‑SQL‑Datensätzen zeigen, dass die neue Methode die Leistung von RL‑trainierten LLMs übertrifft. Die Ergebnisse bestätigen, dass konstrahiertes RL die Problematik des Reward‑Hackings reduziert und gleichzeitig die logische Genauigkeit der generierten SQL‑Abfragen verbessert.

Diese Fortschritte markieren einen wichtigen Schritt hin zu zuverlässigeren und nachvollziehbareren Text‑zu‑SQL‑Systemen, die sowohl in Forschung als auch in praktischen Anwendungen eingesetzt werden können.