PLANET: Revolutionäres Multimodales Graphenmodell mit Divide-and-Conquer-Ansatz

Graphenbasierte Foundation Models haben in den letzten Jahren enorme Fortschritte erzielt, indem sie Wissen über verschiedenste Domänen hinweg verallgemeinern. Bisher konzentrierten sich die meisten Ansätze jedoch ausschließlich auf Textattributierte Graphen (TAGs) und vernachlässigten damit die reichhaltigen multimodalen Informationen, die in Multimodalen Graphen mit Attributen (MAGs) vorhanden sind.

Eine aktuelle Untersuchung hat zwei zentrale Schwächen bestehender Multimodaler Graphen-Foundation-Modelle (MGFMs) aufgezeigt: Erstens fehlt ihnen ein expliziter Mechanismus, um die Interaktion zwischen den Modalitäten zu modellieren, was entscheidend ist, um komplexe, übergreifende Semantik zu erfassen. Zweitens weisen sie eine suboptimale Modalitätsausrichtungsstrategie auf, die die großen semantischen Lücken zwischen unterschiedlichen Modalitäten nicht adäquat überbrückt.

Um diese Herausforderungen zu adressieren, wurde PLANET (Graphen-Topologie-bewusste Modalitätsinteraktion und -ausrichtung) entwickelt. Das System nutzt einen Divide‑and‑Conquer‑Ansatz, um Modalitätsinteraktion und Modalitätsausrichtung auf unterschiedlichen Granularitäten zu trennen. Auf Embedding‑Ebene sorgt das Embedding‑weise Domain‑Gating (EDG) für lokale semantische Anreicherung, indem es topologie‑bewussten Cross‑Modal-Kontext einfließen lässt. Auf Knotenebene gewährleistet das Node‑weise Diskretisierungsermittlung (NDR) eine globale Modalitätsausrichtung, indem es einen Diskretisierten semantischen Repräsentationsraum (DSRS) aufbaut, der die Modalitätslücken überbrückt.

Umfangreiche Experimente zeigen, dass PLANET die bisherigen Stand‑der‑Kunst-Modelle deutlich übertrifft und damit einen wichtigen Schritt in Richtung leistungsfähiger, multimodaler Graphenmodelle darstellt.