FIRM: Federated In-client Multi-objective Alignment für LLMs – effizienter Ansatz

In einer Zeit, in der große Sprachmodelle (LLMs) immer stärker in den Alltag integriert werden, stellt die Abstimmung dieser Modelle auf menschliche Werte eine enorme Herausforderung dar. Dabei müssen oft widersprüchliche Ziele wie Hilfsbereitschaft und Unbedenklichkeit gleichzeitig berücksichtigt werden. Der klassische Ansatz, diese Modelle zentral zu trainieren, ist nicht nur rechenintensiv, sondern wirft auch erhebliche Datenschutzbedenken auf.

Federated Learning (FL) bietet hier eine vielversprechende Alternative, doch bisherige Methoden zur federated multi‑objective Optimierung (FMOO) leiden unter gravierenden Kommunikationsengpässen. Sie erfordern die Übertragung mehrerer Gradienten an einen zentralen Server – ein Ansatz, der bei großen Modellen schlicht nicht skalierbar ist.

Die neue Methode FIRM (Federated In-client Regularized Multi‑objective Alignment) löst dieses Problem elegant. Jeder Client löst lokal ein regularisiertes Multi‑objective‑Optimierungsproblem, wodurch die Drift der Client‑Unstimmigkeiten direkt im Client reduziert wird. Dadurch entfällt die Notwendigkeit, mehrere Gradienten zu senden – stattdessen übermitteln die Clients lediglich ein einziges Set an angepassten Parametern. Das Ergebnis ist eine deutlich höhere Kommunikationseffizienz ohne Qualitätsverlust.

FIRM liefert zudem die ersten formalen, endzeitlichen Konvergenzgarantien für das federated multi‑objective‑Alignment. Der Algorithmus konvergiert zu Pareto‑stationären Punkten, was die theoretische Basis für seine Anwendung stärkt. Empirische Tests zeigen, dass FIRM zu sanfteren Trainingsdynamiken, weniger Drift zwischen den Clients und besseren Kompromissen bei den Belohnungszielen führt. Zusätzlich bietet die Methode einen Ansatz, um Präferenzen für die einzelnen Ziele einzubinden, was die Flexibilität im praktischen Einsatz weiter erhöht.