KI-Modelle bewertet: Wissensgraphen schaffen Benchmarks für semantische Ähnlichkeit

Eine neue Studie zeigt, wie Wissensgraphen dazu genutzt werden können, robuste Benchmarks für die Bewertung semantischer Ähnlichkeit von Texten zu erstellen. Traditionelle Methoden zur Messung der semantischen Nähe von Antworten großer Sprachmodelle (LLMs) greifen häufig zu syntaktischen oder lexikalischen Merkmalen, anstatt wirklich den Inhalt zu erfassen. Zudem sind vorhandene Benchmarks teuer in der Erstellung, stark von subjektiven menschlichen Urteilen abhängig und für spezielle Fachgebiete kaum verfügbar.

Die Autoren haben einen Ansatz entwickelt, der Wissensgraphen nutzt, um Paare von natürlichen Sprachaussagen zu generieren, die entweder semantisch ähnlich oder unterschiedlich sind. Die unterschiedlichen Paare werden in vier Unterkategorien von semantischer Variation eingeteilt. Auf dieser Basis wurden Benchmark-Datensätze in vier Bereichen erstellt: allgemeines Wissen, Biomedizin, Finanzen und Biologie.

In einem Vergleich verschiedener semantischer Ähnlichkeitsmetriken – von klassischen NLP-Scores bis hin zu LLM-basierten „Judge“-Modellen – zeigte sich, dass die Leistung stark von der Art der semantischen Variation und dem jeweiligen Fachgebiet abhängt. Kein einzelnes Verfahren erwies sich als überlegener, was die Komplexität der Aufgabe unterstreicht.

Die Ergebnisse liefern wichtige Hinweise für die Nutzung von LLM-basierten Urteilen zur Erkennung semantischer Inhalte und betonen die Notwendigkeit spezialisierter Benchmarks. Der komplette Code und die Datensätze sind öffentlich zugänglich unter https://github.com/QiyaoWei/semantic-kg.