KNEXA-FL: Orchestriertes, dezentrales Federated Learning für sichere LLM‑Fusion

Die Feinabstimmung großer Sprachmodelle (LLMs) für spezielle Fachgebiete steht vor einer zentralen Hürde: vielfältige, organisationsübergreifende Daten sind nötig, doch Datenschutz und Datenhoheit verhindern deren Austausch. Federated Learning (FL) löst das Problem, indem Modelle gemeinsam trainiert werden, ohne Rohdaten zu teilen. Die klassische, zentralisierte Variante birgt jedoch einen einzigen Ausfallpunkt und bleibt anfällig für Modellinversionsangriffe.

Dezentrales FL (DFL) entfernt den zentralen Aggregator, setzt aber häufig auf zufällige Peer‑to‑Peer‑Verbindungen. Dadurch wird die Heterogenität der Agenten ignoriert und das Risiko negativer Transfereffekte steigt. KNEXA‑FL schlägt eine neue Lösung vor: ein orchestriertes, dezentrales Framework, das die Vorteile beider Ansätze kombiniert.

Im Kern steht ein nicht aggregierender Central Profiler/Matchmaker (CPM), der die Peer‑to‑Peer‑Zusammenarbeit als kontextbasiertes Bandit‑Problem formuliert. Mithilfe des LinUCB‑Algorithmus lernt der CPM anhand abstrakter Agentenprofile eine optimale Matchmaking‑Strategie. So werden heterogene, PEFT‑basierte LLM‑Agenten gezielt zusammengeführt und tauschen Wissen über sichere Distillation aus – ohne jemals die Modelle selbst zu sehen.

Umfangreiche Experimente auf einer anspruchsvollen Code‑Generierungsaufgabe zeigen, dass KNEXA‑FL die Pass@1‑Rate um etwa 50 % gegenüber zufälliger Peer‑to‑Peer‑Zusammenarbeit steigert. Im Gegensatz zu einem leistungsstarken zentralisierten Distillation‑Baseline bleibt die orchestrierte Methode stabil konvergierend, während das Baseline-Modell einen katastrophalen Leistungsabfall erfährt.