Unsicherheitsbasierte Expertenmethode verbessert Ungleichverteilung Sequenzlernen

In der Welt des sequenziellen Lernens stellen unausgewogene Datenverteilungen seit langem ein großes Problem dar: Modelle erkennen häufige Klassen mühelos, während seltene Klassen oft übersehen werden. Ein neues Forschungsprojekt aus dem Bereich der Multi-Expert-Modelle präsentiert eine vielversprechende Lösung, die diese Herausforderung direkt anspricht.

Das „Uncertainty-based Multi-Expert fusion network“ (UME) kombiniert drei innovative Ansätze, um die Leistung bei stark unausgewogenen Datensätzen zu steigern. Erstens nutzt UME Ensemble LoRA, um die Anzahl der trainierbaren Parameter drastisch zu reduzieren und damit die Modellkomplexität zu senken. Zweitens führt das System eine sequentielle Spezialisierung ein, die sich an der Dempster‑Shafer‑Theorie (DST) orientiert und sicherstellt, dass die Experten gezielt auf die schwer zu erkennenden, seltenen Klassen fokussieren. Drittens wird ein Unsicherheits‑gesteuertes Fusion‑Verfahren eingesetzt, das die von DST gelieferten Vertrauenswerte nutzt, um die Beiträge der einzelnen Experten dynamisch zu gewichten und Konflikte zu lösen.

Die Ergebnisse sprechen für sich: Auf vier öffentlichen, hierarchisch strukturierten Textklassifikationsdatensätzen erzielte UME einen Durchbruch, indem es die bisher beste Leistung um bis zu 17,97 % übertraf. Gleichzeitig konnte die Anzahl der trainierbaren Parameter um bis zu 10,32 % gesenkt werden. Diese Kombination aus höherer Genauigkeit und geringerer Komplexität unterstreicht, dass Unsicherheits‑gesteuerte Expertenkoordination ein wirkungsvolles Prinzip für das Lernen mit stark unausgewogenen Sequenzen darstellt.

Der komplette Code des Modells ist öffentlich zugänglich und ermöglicht Forschern und Praktikern, die Methode in eigenen Projekten zu übernehmen und weiterzuentwickeln.