LT‑Soups: Brücken bauen zwischen Kopf‑ und Schwanzklassen mit Model Soups

In vielen realen Datensätzen zeigen sich stark unausgewogene Klassenverteilungen, bei denen wenige „Kopf“-Klassen die Mehrheit bilden, während zahlreiche „Schwanz“-Klassen kaum vertreten sind. Neueste Studien haben gezeigt, dass parameter‑effiziente Feinabstimmungsverfahren wie LoRA und AdaptFormer die Leistung bei Schwanzklassen erhalten, jedoch die Genauigkeit der Kopfklassen beeinträchtigen.

Die Autoren dieser Arbeit identifizieren das Verhältnis von Kopf- zu Schwanzklassen als entscheidenden, bislang vernachlässigten Faktor, der das Gleichgewicht zwischen beiden Klassen beeinflusst. Durch kontrollierte Experimente auf CIFAR‑100 mit variierenden Ungleichgewichts‑ und Kopf‑Schwanz‑Verhältnissen konnten sie nachweisen, dass PEFT‑Methoden bei stark schwanzlastigen Szenarien gut funktionieren, aber bei ausgeglicheneren oder kopflastigen Verteilungen die Leistung der Kopfklassen verschlechtert.

Um diese Einschränkungen zu überwinden, stellen die Forscher LT‑Soups vor – ein zweistufiges Modell‑Soup‑Framework. Im ersten Schritt werden Modelle, die auf ausgewogenen Teilmengen feinabgestimmt wurden, gemittelt, um die Voreingenommenheit gegenüber Kopfklassen zu reduzieren. Im zweiten Schritt wird ausschließlich der Klassifikator auf dem gesamten Datensatz weitertrainiert, um die Genauigkeit der Kopfklassen wiederherzustellen. Experimente an sechs Benchmark‑Datensätzen zeigen, dass LT‑Soups im Vergleich zu PEFT und herkömmlichen Model‑Soups über ein breites Spektrum von Ungleichgewichts‑Regimen hinweg bessere Kompromisse erzielt.