Bi-Level Optimierung revolutioniert Single Domain Generalization

Ein brandneuer Ansatz namens BiSDG nutzt Bi-Level Optimierung, um die langjährige Herausforderung der Single Domain Generalization (SDG) zu meistern. Dabei wird aus einer einzigen gelabelten Quelle ein Modell trainiert, das auf völlig unbekannte Zieldomänen generalisiert – ohne jemals Zieldaten während des Trainings zu sehen.

BiSDG trennt die Lernaufgabe von der Domänenmodellierung. Durch label‑preserving Transformationen der Quelldaten werden surrogate Domains erzeugt, die reale Verteilungsverschiebungen simulieren. So kann das Modell gezielt auf unterschiedliche Domänenbedingungen vorbereitet werden.

Ein zentrales Element ist der Domain Prompt Encoder, der leichte Modulationssignale generiert. Diese Signale werden mittels Feature‑wise Linear Modulation eingesetzt, um zusätzliche Features zu erzeugen, die den domänenspezifischen Kontext widerspiegeln.

Der Lernprozess wird als Bi-Level Optimierungsproblem formuliert: Das innere Ziel optimiert die Aufgabenleistung bei festen Prompts, während das äußere Ziel die Generalisierung über die surrogate Domains maximiert, indem der Encoder kontinuierlich aktualisiert wird.

Um die Komplexität zu reduzieren, wurde ein praktischer Gradient‑Approximation‑Ansatz entwickelt, der effizientes Bi-Level Training ohne zweite Ableitungen ermöglicht.

In umfangreichen Experimenten auf verschiedenen SDG‑Benchmarks übertrifft BiSDG bisherige Methoden konsequent und setzt damit neue Maßstäbe für die Generalisierung aus einer einzigen Quelle.