Agentisches RL lernt SPARQL-Abfragen schrittweise zu verbessern

In einer neuen Veröffentlichung auf arXiv präsentiert ein Forschungsteam einen innovativen Ansatz, mit dem ein Sprachmodell (LLM) selbstständig komplexe SPARQL-Abfragen für mehrstufige Fragen aus Knowledge Graphs erstellt. Der Schlüssel liegt in einer agentischen Lernumgebung, in der das Modell durch Reinforcement Learning (RL) eine robuste Strategie entwickelt, die Abfragen iterativ zu konstruieren und bei Ausführungsfehlern zu korrigieren.

Das System nutzt ein kompaktes 3‑Billionen‑Parameter-Modell, das ausschließlich über ein ergebnisorientiertes RL‑Verfahren namens GRPO trainiert wird – ohne klassische Supervised‑Fine‑Tuning‑Schritte. Durch die kontinuierliche Rückmeldung aus der Ausführung der Abfragen lernt das Modell, Fehler zu erkennen, zu analysieren und gezielt zu beheben, sodass die Abfragen schrittweise dem korrekten Ergebnis näher kommen.

Auf einer sorgfältig ausgewählten, ausführbaren Teilmenge des LC‑QuAD‑2.0‑Datensatzes erzielt der Agent eine Genauigkeit von 49,7 % nach Entity‑Linking, was einen deutlichen Vorsprung von 17,5 Prozentpunkten gegenüber dem besten iterativen Zero‑Shot‑Baseline darstellt. Die Analyse zeigt, dass die RL‑Lernphase die Grundkompetenz liefert, während ein zusätzliches deliberatives Denk‑Schritt die Präzision der Policy weiter steigert.

Diese Arbeit liefert ein generisches Konzept, wie Agenten durch Interaktion formale, symbolische Werkzeuge erlernen können. Sie schließt die Lücke zwischen probabilistischen Sprachmodellen und der strukturierten Welt von Knowledge Graphs und eröffnet neue Perspektiven für die automatisierte Abfragegenerierung in datenintensiven Anwendungen.