GeoIB: Geometrisch fundiertes Information Bottleneck ohne MI-Schätzung

In der Welt des Deep Learning wird das Information Bottleneck (IB) häufig über indirekte Schätzungen der gegenseitigen Information (MI) umgesetzt, etwa mit variationalen Grenzen oder neuronalen MI-Estimatoren. Diese Ansätze sind jedoch oft losgelöst von der eigentlichen MI‑Kontrolle und können zu instabilen Optimierungen führen.

Die neue Methode GeoIB (Geometry‑Aware Information Bottleneck) greift stattdessen auf die Informationstheorie zurück und nutzt geometrische Konzepte, um die MI direkt zu steuern, ohne sie zu schätzen. Dabei wird gezeigt, dass I(X;Z) und I(Z;Y) exakt als minimale Kullback‑Leibler‑Abstände von den jeweiligen Verteilungen zu ihren Unabhängigkeitsmanifolds dargestellt werden können.

GeoIB kombiniert zwei komplementäre Komponenten: Erstens eine Fisher‑Rao‑Diskrepanz, die den KL‑Abstand bis zum zweiten Ordnung abbildet und reparametrisationsinvariant ist; zweitens einen Jacobian‑Frobenius‑Term, der als lokales Kapazitätslimit fungiert, indem er die Volumenexpansion des Encoders einschränkt. Diese beiden Terme ermöglichen eine präzise Steuerung der Informationskompression.

Darüber hinaus wird ein natürlicher Gradient‑Optimierer entwickelt, der mit dem Fisher‑Rao‑Metrik konsistent ist. Der klassische additive natürliche Gradient-Schritt ist dabei äquivalent zum Geodätischen Update erster Ordnung, was die Optimierung stabiler und effizienter macht.

In umfangreichen Experimenten zeigte GeoIB eine deutlich bessere Balance zwischen Vorhersagegenauigkeit und Kompressionsrate im Informationsraum als die gängigen IB‑Baselines. Die Ergebnisse wurden auf mehreren populären Datensätzen validiert, was die Vielseitigkeit und Wirksamkeit der Methode unterstreicht.