Neuer Ansatz LaT-IB macht Information Bottleneck robust gegen Label‑Rauschen
Der Information Bottleneck (IB) ist ein bewährtes Prinzip für die Lernrepräsentation, das relevante Label‑Informationen bewahrt und irrelevante Daten komprimiert. In der Praxis sind jedoch die meisten Datensätze von fehlerhaften Labels durchdrungen, was die Leistung von IB‑Modellen stark beeinträchtigt.
Um diesem Problem entgegenzuwirken, stellt die neue Arbeit LaT‑IB vor – ein Label‑Noise‑Resistant Information Bottleneck. Der Schlüssel liegt im „Minimal‑Sufficient‑Clean“ (MSC) Kriterium, das als Mutual‑Information‑Regularizer fungiert und dafür sorgt, dass nur die wirklich relevanten Informationen erhalten bleiben, während Rauschen systematisch eliminiert wird.
LaT‑IB nutzt eine noise‑aware latent disentanglement‑Strategie, die die latente Repräsentation in einen sauber‑label‑kompatiblen und einen Rausch‑komponenten‑Teil zerlegt. Theoretisch werden für jede Komponente Mutual‑Information‑Grenzen abgeleitet, die zeigen, dass das Optimieren des Modells zu einer invarianten, rauschfreien Repräsentation führt und die sauberen sowie verrauschten Label‑Informationen trennt.
Der Trainingsablauf besteht aus drei Phasen – Warm‑up, Knowledge‑Injection und Robust‑Training – die das Modell schrittweise an rauschresistente Darstellungen heranführen. Umfangreiche Experimente belegen, dass LaT‑IB unter starkem Label‑Rauschen deutlich robuster und effizienter arbeitet als herkömmliche IB‑Methoden und damit die Anwendbarkeit in realen Szenarien erheblich verbessert.