LLM-gestützte CQs entdecken Ontologiefehler: VSPO schlägt GPT-4.1 um 26 %

In der Ontologieentwicklung sind Competency Questions (CQs) unverzichtbar, um die Richtigkeit von Modellen zu prüfen. Doch die manuelle Erstellung dieser Fragen ist zeitaufwendig und teuer. Neuere Ansätze nutzen große Sprachmodelle (LLMs), um CQs automatisch zu generieren, prüfen jedoch bisher vor allem die Ähnlichkeit zu bestehenden Datensätzen und vernachlässigen dabei wichtige semantische Fehler wie die falsche Verwendung von allValuesFrom.

Um diese Lücken zu schließen, hat ein Forschungsteam ein neues Dataset und Modell namens Validating Semantic Pitfalls in Ontology (VSPO) entwickelt. Dabei erzeugen LLMs natürliche Sprachdefinitionen von Klassen und Eigenschaften und führen gezielt Fehler ein – etwa durch das Entfernen von Axiomen oder das Ersetzen von logischen Operatoren. Anschließend wird das Modell LLaMA‑3.1‑8B‑Instruct feinjustiert, sodass es CQs erzeugt, die gezielt diese semantischen Diskrepanzen aufdecken.

Die Ergebnisse sind beeindruckend: Die feinjustierten CQs erkennen ein breiteres Spektrum an Modellierungsfehlern als bisher verfügbare öffentliche Datensätze. Im Vergleich zu GPT‑4.1 erzielt das VSPO-Modell eine 26 % höhere Präzision und eine 28,2 % höhere Rückrufrate bei der Generierung von CQs zur Pitfall‑Validierung.

Dieses neue Verfahren ermöglicht die automatische Erstellung von TBox‑validierenden CQs, reduziert den manuellen Aufwand erheblich und steigert gleichzeitig die Qualität der Ontologieprüfung. Damit stellt VSPO einen bedeutenden Fortschritt in der automatisierten Ontologievalidierung dar.