Neuer Ansatz: Schließbare Formel für kontrollierbare Modellfusion

In der KI-Forschung wird die Kombination mehrerer Expertenmodelle immer wichtiger, um Aufgaben mit mehreren Zielsetzungen zu lösen. Traditionell führt die Optimierung der Parameter zu Interferenzen, die die Leistung beeinträchtigen. Um dem entgegenzuwirken, hat sich die Forschung auf kontrollierbare Modellfusion konzentriert, bei der Nutzer explizit die Balance zwischen den Leistungsaspekten steuern können.

Die bisherigen Methoden basieren auf einem „Compile‑then‑Query“-Paradigma: Zunächst wird ein aufwändiger Offline‑Optimierungsprozess durchgeführt, der mehrere Iterationen oder spezielle Trainings erfordert. Die Komplexität dieses Schritts wächst exponentiell mit der Anzahl der Aufgaben, was die Skalierbarkeit stark einschränkt.

Der neue Ansatz wechselt die Perspektive und korrigiert direkt die endgültige Repräsentation des Modells. Durch die Modellierung dieser Korrektur als optimale lineare Transformation erhält man eine geschlossene Formel, die den gesamten Offline‑Optimierungsprozess durch eine einzige, architekturunabhängige Berechnung ersetzt. Diese Berechnung integriert die Nutzerpräferenzen sofort und erzeugt ein Pareto‑optimales Modell in Echtzeit, wobei die Komplexität linear zur Aufgabenanzahl wächst.

Experimentelle Ergebnisse zeigen, dass dieser Ansatz nicht nur die Präzision der Präferenzabstimmung verbessert, sondern auch die Rechenkosten drastisch senkt. Damit eröffnet sich ein vielversprechender Weg, leistungsstarke, anpassbare Modelle effizienter zu entwickeln und einzusetzen.