Ontologie-Axiom-Identifikation mit LLMs: Benchmark-Studie enthüllt Erfolgsfaktoren

In einer neuen Studie zum Ontologie-Lernen mit großen Sprachmodellen (LLMs) wurde ein umfassender Benchmark namens OntoAxiom entwickelt. Der Test umfasst neun mittelgroße Ontologien, die insgesamt 17.118 Tripel und 2.771 Axiome enthalten. Die Untersuchung konzentriert sich auf fünf zentrale Axiomtypen: Subclass, Disjoint, Subproperty, Domain und Range.

Die Forscher haben zwölf verschiedene LLMs unter drei Shot-Einstellungen getestet und dabei zwei Prompting-Strategien verglichen: einen direkten Ansatz, bei dem alle Axiome auf einmal abgefragt werden, und einen Axiom‑by‑Axiom‑Ansatz (AbA), bei dem jedes Prompt ein einzelnes Axiom erfragt. Die Ergebnisse zeigen, dass der AbA-Ansatz konsequent höhere F1‑Scores erzielt als der direkte Ansatz.

Die Leistung variiert jedoch stark je nach Axiomtyp und Ontologie. Beispielsweise erreichte das FOAF‑Ontology bei Subclass-Axiomen einen F1‑Score von 0,642, während das Music‑Ontology nur 0,218 erzielte. Größere LLMs schneiden generell besser ab, was auf die zunehmende Modellgröße und das verbesserte Sprachverständnis zurückzuführen ist.

Die Studie liefert wertvolle Einblicke für die Entwicklung von Ontologie-Lernsystemen und zeigt, dass gezielte Prompting-Strategien sowie die Auswahl geeigneter LLMs entscheidend für die erfolgreiche Identifikation von Ontologie-Axiomen sind.