Neues multimodales LLM nutzt Logik für bessere Domänenübertragbarkeit

In einem aktuellen Beitrag auf arXiv wird ein innovativer Ansatz vorgestellt, der die Herausforderung der Domänengeneralisation in tiefen Lernmodellen angeht. Anstatt sich ausschließlich auf die Erhaltung visueller Merkmale zu konzentrieren, nutzt die Studie die Denkfähigkeit multimodaler Large Language Models (MLLMs), um durch logische Schlussketten Bildkategorien zu bestimmen und dadurch robustere Vorhersagen bei Domain‑Shift zu erzielen.

Zur Untersuchung der Rolle von Logik in der Domänengeneralisation wurde DomainBed‑Reasoning entwickelt – eine erweiterte Version des DomainBed‑Datasets, bei dem jedem Bild ein erklärender, klassenrelevanter Denkpfad zugeordnet ist. Die Analyse zeigte zwei zentrale Probleme: Erstens ist das Feintuning von MLLMs mit solchen Denkketten deutlich anspruchsvoller als die direkte Label‑Supervision, weil das Modell komplexe Argumentationssequenzen optimieren muss, bevor es eine Klassifikation trifft. Zweitens führen Abweichungen in den Denkmustern zwischen den Trainingssignalen und den feingetunten Modellen zu einem Spannungsfeld zwischen semantischer Tiefe (informativ, aber schwer zu optimieren) und Optimierungseffizienz (einfacher zu trainieren, aber weniger aussagekräftig).

Um diese Herausforderungen zu überwinden, präsentiert die Arbeit RD‑MLDG – ein zweistufiges Framework. Der erste Bestandteil, MTCT (Multi‑Task Cross‑Training), führt einen zusätzlichen direkten Klassifikationspfad ein, der die Logik‑Supervision unterstützt. Der zweite Bestandteil, SARR (Self‑Aligned Reasoning Regularization), bewahrt die semantische Fülle der Denkketten, während es durch iterative Selbst‑Labeling‑Schleifen Musterunterschiede reduziert. Experimente auf Standard‑Domänen‑Benchmarks zeigen, dass RD‑MLDG die Leistung signifikant steigert und damit einen vielversprechenden Weg für robuste, domänenübergreifende Modelle aufzeigt.