FIRESPARQL: LLM-Framework verbessert SPARQL-Abfragen in Graphen

Wissenschaftliche Wissensgraphen (SKGs) stellen die Beantwortung natürlicher Fragen mit SPARQL vor besondere Herausforderungen. Die Autoren von FIRESPARQL zeigen, wie große Sprachmodelle (LLMs) gezielt angepasst werden können, um aus Textfragen präzise SPARQL-Abfragen zu generieren. Dabei werden zwei häufig auftretende Fehlerarten – strukturelle Inkonsistenzen und semantische Ungenauigkeiten – systematisch adressiert.

Das modular aufgebaute Framework kombiniert ein feinjustiertes LLM mit optionaler Retrieval‑Augmented‑Generation (RAG), die kontextuelle Informationen aus dem Graphen liefert, sowie einer SPARQL‑Korrekturlayer, die die generierten Abfragen auf Richtigkeit prüft. Durch diese Schichten wird die Genauigkeit der Abfragen deutlich erhöht.

Die Leistung von FIRESPARQL wurde am SciQA‑Benchmark getestet. In den verschiedenen Konfigurationen – von Zero‑Shot über One‑Shot bis hin zu feinjustierten Modellen – erzielte die feinjustierte Variante mit RAG die höchste Genauigkeit: 0,90 ROUGE‑L für die Abfrage‑Genauigkeit und eine signifikante Verbesserung bei der Ergebnis‑Genauigkeit (RelaxedEM). Diese Ergebnisse übertreffen aktuelle Baselines und zeigen das Potenzial von LLM‑basierten Ansätzen für die Verarbeitung von SKGs.