Effiziente Modellfusion: Ensembling, Merging und Routing im Vergleich

In der Welt der großen Sprachmodelle (LLMs) zeigen sich immer wieder neue Wege, um mit minimalen Anpassungen maximale Leistung zu erzielen. Durch das Feintuning von LLMs mit schlanken Adaptern lassen sich starke Ergebnisse in vielen Aufgaben erzielen – allerdings hängt der Erfolg stark von der gewählten Strategie ab.

Ein vielversprechender Ansatz ist die Kombination mehrerer, unabhängig trainierter Modelle. Dabei gibt es drei Hauptmethoden: Ensembling, bei dem die Ausgaben mehrerer Modelle zusammengeführt werden; Merging, bei dem die Gewichte der Modelle mittels Parameter‑Durchschnitt verschmolzen werden; und Routing, bei dem die Modelle je nach Eingabe dynamisch ausgewählt werden. Trotz ihres Potenzials sind die Designentscheidungen in diesen Verfahren noch nicht vollständig erforscht.

Die aktuelle Studie untersucht die Vor- und Nachteile dieser Techniken anhand von zwei zentralen Fragen: Welche Vorteile bietet eine nicht‑uniforme Ensembling‑ oder Merging‑Strategie? Und rechtfertigt die Flexibilität des Routings die zusätzliche Komplexität? Die Ergebnisse zeigen, dass sowohl nicht‑uniformes Ensembling als auch Merging die Leistung steigern, während Routing sogar noch größere Verbesserungen erzielt.

Routing ist jedoch mit einem hohen Rechenaufwand verbunden. Um diesen zu reduzieren, wurden verschiedene Expertenauswahlmethoden analysiert. Clustering und eine greedy‑Subset‑Auswahl konnten die Leistung nahezu unverändert lassen, während der Overhead deutlich gesenkt wurde.

Diese Erkenntnisse liefern wertvolle Einblicke in die Kunst der Modellfusion für das Multi‑Task‑Learning und eröffnen neue Möglichkeiten, effiziente und leistungsstarke Sprachmodelle zu entwickeln.