KI News: Kurz und klar.

Split Federated Learning (SFL) teilt ein Modell in zwei Teile: Teil 1 wird lokal bei jedem Client trainiert und anschließend aggregiert, während Teil 2 auf dem Server die von den Clients empfangenen Zwischenaktivierungen sequentiell verarbeitet. Diese Aufteilung ermöglicht eine effiziente Zusammenarbeit, birgt jedoch ein neues Problem: das katastrophale Vergessen (Catastrophic Forgetting, CF).

In dem neuen Tutorial wird Hydra vorgestellt, ein fortschrittliches Konfigurationsmanagement-Framework, das ursprünglich von Meta Research entwickelt und als Open‑Source bereitgestellt wurde. Hydra ermöglicht es, komplexe Machine‑Learning‑Experimente sauber zu strukturieren und gleichzeitig die Wiederholbarkeit zu gewährleisten.

Hydra ist ein neues Architekturkonzept für Sprachmodelle, die lange Kontexte verarbeiten können. Das Modell kombiniert einen Mamba‑ähnlichen Structured State Space Model (SSM) mit sparsamer globaler Attention, einem chunk‑basierten Mixture‑of‑Experts (MoE) und zwei Speicher‑Schichten – einem Arbeitsbereich und einem faktenbasierten PKM‑Speicher.