Neuer Ansatz für multimodale Suche: CIEA nutzt ergänzende Infos
In der Forschung zur multimodalen Suche, bei der Text- und Bilddaten kombiniert werden, gibt es bislang einen Mangel an Methoden, die die ergänzenden Informationen in Bildern berücksichtigen. Der neue Ansatz CIEA (Complementary Information Extraction and Alignment) löst dieses Problem, indem er Text und Bild in einen gemeinsamen latenten Raum überführt und dabei ein spezielles Extraktionsmodul nutzt, das Unterschiede in den Bilddarstellungen erkennt und bewahrt.
