Vision‑Language‑Modelle revolutionieren multimodale Knowledge‑Graph‑Embeddings

Ein neues arXiv‑Paper (2603.02435v1) präsentiert die Vision‑Language Knowledge Graph Embeddings (VL‑KGE), ein innovatives Framework, das die Stärken von Vision‑Language‑Modellen (VLMs) mit klassischen Knowledge‑Graph‑Embedding‑Methoden (KGE) kombiniert. Multimodale Knowledge Graphs (MKGs) enthalten Entitäten, die mit unterschiedlichen Modalitäten wie Text, Bild oder Audio verknüpft sind. Traditionelle KGE‑Ansätze sind zwar sehr gut darin, kontinuierliche Repräsentationen von Entitäten und Relationen zu lernen, aber sie sind meist auf unimodale Daten ausgelegt.

Aktuelle multimodale KGE‑Methoden verarbeiten die Modalitäten oft getrennt, was zu einer schwachen Ausrichtung zwischen den Modalitäten führt und auf vereinfachte Annahmen wie gleichmäßige Modalitätsverfügbarkeit setzt. VLMs hingegen ermöglichen eine robuste Ausrichtung aller Modalitäten in einem gemeinsamen Embedding‑Raum. VL‑KGE nutzt diese Fähigkeit, um die multimodale Ausrichtung mit strukturiertem relationalem Modellieren zu verknüpfen und so ein einheitliches, multimodales Repräsentationsmodell zu erzeugen.

Die Autoren haben VL‑KGE auf dem WN9‑IMG‑Datensatz sowie auf zwei neu entwickelten Fine‑Art‑MKGs – WikiArt‑MKG‑v1 und WikiArt‑MKG‑v2 – getestet. In allen Link‑Prediction‑Aufgaben übertrifft VL‑KGE sowohl herkömmliche unimodale als auch multimodale KGE‑Methoden deutlich. Die Ergebnisse unterstreichen, wie VLMs die Qualität multimodaler Knowledge‑Graph‑Embeddings verbessern und eine robustere, strukturierte Schlussfolgerung über große, heterogene Graphen ermöglichen.