Subgruppenbalance: Warum ausgewogene Daten nicht immer besser sind

Eine neue Studie von Forschern auf arXiv (Arbeitstitel: Representation Invariance and Allocation: When Subgroup Balance Matters) zeigt, dass die gängige Annahme, eine ausgewogene Repräsentation aller demografischen Gruppen in Trainingsdaten sei immer optimal, nicht immer zutrifft. In einigen Fällen führt eine unausgewogene Verteilung sogar zu einer besseren Leistung einzelner Subgruppen, während in anderen Szenarien die Leistung einer Subgruppe kaum von der Anwesenheit aller Gruppen abhängt.

Die Autoren untersuchten vier unterschiedliche Vision- und Language‑Modelle und variierten systematisch die Zusammensetzung der Trainingsdaten. Dabei stellten sie fest, dass die Sensitivität der Subgruppenleistung stark von der Datenbalance abhängt, aber nicht in einer linearen Beziehung steht. Um dieses Phänomen zu erklären, stellten sie die „latent separation hypothesis“ vor: Die Abhängigkeit eines teilweise feinabgestimmten Modells von der Subgruppenrepräsentation wird durch die Trennung der Subgruppen im latenten Raum des vortrainierten Modells bestimmt.

Die Hypothese wurde formalisiert, theoretisch analysiert und anschließend empirisch validiert. Abschließend demonstrierten die Autoren eine praktische Anwendung für die Feinabstimmung von Foundation‑Modellen: Durch eine quantitative Analyse der latenten Trennung von Subgruppen können Datenbeschaffungs- und Balancierungsentscheidungen gezielt getroffen werden, um die Modellleistung für alle relevanten Gruppen zu optimieren.