Kontrastives Mutual Information Learning ohne positive Augmentierungen

Die neue Methode cMIM (contrastive Mutual Information Machine) erweitert das bereits etablierte Mutual Information Machine (MIM) um ein kontrastives Ziel, wodurch die Notwendigkeit für positive Datenaugmentierungen entfällt. Durch diese Erweiterung behält cMIM die generative Präzision von MIM bei, fügt jedoch eine globale diskriminative Struktur hinzu, die besonders für Klassifikationsaufgaben von Vorteil ist.

Ein weiteres Highlight von cMIM ist die Einführung von „informative embeddings“. Diese Technik ermöglicht es, aus Encoder‑Decoder‑Modellen reichhaltige Features zu extrahieren, die die diskriminative Leistung ohne zusätzlichen Trainingsaufwand steigern. Die Methode ist dabei nicht auf MIM beschränkt, sondern lässt sich allgemein in anderen Modellen einsetzen.

In umfangreichen Experimenten – sowohl im Bereich der Bildverarbeitung als auch bei molekularen Daten – hat cMIM gezeigt, dass es MIM und das klassische InfoNCE‑Verfahren in Klassifikations- und Regressionsaufgaben übertrifft. Gleichzeitig bleibt die Rekonstruktionsqualität konkurrenzfähig, was cMIM zu einem vielseitigen Framework für gleichzeitige generative und diskriminative Anwendungen macht.