KI News: Kurz und klar.

Ein neuer Ansatz aus dem Bereich des lebenslangen Deep Learning (LDL) verspricht, neuronale Netzwerke in der Lage zu machen, Aufgaben nacheinander zu erlernen, ohne dabei frühere Kenntnisse zu verlieren. Der Algorithmus Task‑Aware Multi‑Expert (TAME) nutzt die Ähnlichkeit von Aufgaben, um gezielt Experten auszuwählen und Wissen zu übertragen.

Forscher haben gezeigt, dass ein vortrainierter Feature‑Extractor, der mit selbstüberwachtem Lernen (SSL) ohne Labels trainiert wird, anschließend in einem klassischen Supervised‑Training auf verrauschten Datensätzen zu deutlich robusteren Modellen führt – und das ohne einen sauberen Daten­subset.

In vielen realen Datensätzen zeigen sich stark unausgewogene Klassenverteilungen, bei denen wenige „Kopf“-Klassen die Mehrheit bilden, während zahlreiche „Schwanz“-Klassen kaum vertreten sind. Neueste Studien haben gezeigt, dass parameter‑effiziente Feinabstimmungsverfahren wie LoRA und AdaptFormer die Leistung bei Schwanzklassen erhalten, jedoch die Genauigkeit der Kopfklassen beeinträchtigen.

Ein neues, schlankes Verfahren namens OvA‑LP hat die Art und Weise, wie Federated Fine‑Tuning (FFT) mit stark heterogenen Client‑Daten umgeht, grundlegend verändert. Während herkömmliche Aggregations‑ und Personalisierungsansätze den Drift – die Divergenz der lokalen Updates – erst nachträglich korrigieren, arbeitet OvA‑LP bereits im Kern des PEFT‑basierten FFT‑Paradigmas gegen die Drift an.