Neuer Ansatz für multimodale Suche: CIEA nutzt ergänzende Infos

In der Forschung zur multimodalen Suche, bei der Text- und Bilddaten kombiniert werden, gibt es bislang einen Mangel an Methoden, die die ergänzenden Informationen in Bildern berücksichtigen. Der neue Ansatz CIEA (Complementary Information Extraction and Alignment) löst dieses Problem, indem er Text und Bild in einen gemeinsamen latenten Raum überführt und dabei ein spezielles Extraktionsmodul nutzt, das Unterschiede in den Bilddarstellungen erkennt und bewahrt.

Durch die Anwendung zweier komplementärer kontrastiver Verluste wird die semantische Integrität sichergestellt und die zusätzlichen Bildinformationen effektiv erfasst. Umfangreiche Experimente zeigen, dass CIEA die Leistung deutlich über bestehende „divide‑and‑conquer“-Modelle und universelle dichte Retrieval‑Modelle hinaus steigert. Ergänzend dazu wurden Ablationsstudien, vertiefende Diskussionen und Fallstudien präsentiert, die die Fortschritte des Ansatzes verdeutlichen.

Um die Forschungsgemeinschaft zu unterstützen, wurde der Quellcode öffentlich auf GitHub zur Verfügung gestellt: https://github.com/zengdlong/CIEA.