Neues Framework für Long‑Tailed Reranking: Residual Decomposition

In der Long‑Tailed‑Klassifikation, bei der wenige häufige Klassen die Mehrheit der seltenen Klassen dominieren, neigen Modelle dazu, bei der Inferenz systematisch die häufigen Klassen zu bevorzugen. Dieses Problem bleibt trotz moderner Ansätze bestehen.

Aktuelle Post‑hoc‑Methoden wie die Logit‑Adjustment‑Technik fügen den Ausgangslogits der Basis‑Modelle einen festen, klassenweisen Offset hinzu. Dieser Ansatz kann jedoch nicht auf die variierenden Korrekturen reagieren, die für unterschiedliche Eingaben erforderlich sind.

Die Autoren untersuchen das Problem anhand eines Bayes‑optimalen Rerankings auf einer Top‑k‑Liste des Basis‑Modells. Die Differenz zwischen dem optimalen Score und dem Basis‑Score – die Residual‑Korrektur – zerfällt in einen klassenweisen, konstanten Bestandteil und einen paarweisen, inputabhängigen Bestandteil, der von der Konkurrenz zwischen Labels abhängt.

Wenn die Residual‑Korrektur ausschließlich klassenweise ist, reicht ein fester Offset aus, um die Bayes‑optimale Reihenfolge wiederherzustellen. Sobald jedoch dieselbe Label‑Paarung in unterschiedlichen Kontexten widersprüchliche Reihenfolge‑Beschränkungen erzeugt, kann kein fester Offset diese Korrektur leisten.

Diese Zerlegung liefert überprüfbare Vorhersagen darüber, wann eine paarweise Korrektur die Leistung verbessert und wann nicht. Auf dieser Grundlage wurde REPAIR entwickelt – ein leichtgewichtiges Post‑hoc‑Reranking‑System, das einen shrinkage‑stabilisierten klassenweisen Term mit einem linearen paarweisen Term kombiniert, der auf Konkurrenz‑Features der Top‑k‑Liste basiert.

Experimentelle Ergebnisse auf fünf Benchmark‑Datensätzen – darunter Bildklassifikation, Arten‑erkennung, Szenen‑erkennung und seltene Krankheitsdiagnosen – bestätigen, dass die Residual‑Decomposition die Leistung signifikant steigert und die Grenzen traditioneller Logit‑Adjustment‑Methoden überwindet.