Rule2Text: KI-generierte Erklärungen für Wissensgraph-Regeln

Wissensgraphen (KGs) werden zunehmend durch regelbasierte Analysen erweitert, doch die daraus resultierenden logischen Regeln sind oft schwer verständlich. Das neue Framework Rule2Text nutzt große Sprachmodelle (LLMs), um diese Regeln in klaren, natürlichen Text zu übersetzen und damit die Zugänglichkeit von KGs deutlich zu erhöhen.

In einer umfangreichen Evaluierung wurden Regeln aus mehreren Datensätzen – darunter Freebase‑Varianten (FB‑CVT‑REV, FB+CVT‑REV, FB15k‑237) und das Bio‑KG‑Dataset ogbl‑biokg – mit AMIE 3.5.1 extrahiert. Anschließend wurden verschiedene LLMs mit unterschiedlichen Prompt‑Strategien getestet: Zero‑Shot, Few‑Shot, Einbindung von Variablentypen und Chain‑of‑Thought‑Reasoning. Die Ergebnisse wurden sowohl automatisch als auch durch menschliche Prüfer hinsichtlich Richtigkeit und Klarheit bewertet.

Um die Skalierbarkeit der Bewertung zu erhöhen, entwickelte das Team ein LLM‑as‑a‑Judge-Modell, das die Einschätzungen der Menschen mit hoher Übereinstimmung abgleicht. Mit dem leistungsstärksten Modell Gemini 2.0 Flash, dem LLM‑Judge und gezieltem Feedback aus der Mensch‑in‑der‑Schleife wurden hochwertige Ground‑Truth‑Datensätze erstellt, die anschließend zum Fein‑Tuning des Open‑Source‑Modells Zephyr dienten.

Die Fein‑Tuning‑Phase führte zu signifikanten Verbesserungen der Erklärungsqualität, insbesondere bei domänenspezifischen Datensätzen. Zusätzlich integrierte Rule2Text ein Typinferenz‑Modul, das KGs ohne explizite Typinformationen unterstützt, wodurch die Anwendbarkeit des Frameworks weiter ausgebaut wird.

Rule2Text demonstriert, wie KI‑gestützte Natural‑Language‑Generation die Komplexität von Wissensgraphen reduziert und die Nutzung von KGs für Fachleute und Entwickler gleichermaßen erleichtert.