Mamba-Architektur übertrifft Transformer bei Herzinsuffizienz‑Vorhersagen

In einer umfassenden Analyse von 42.820 Herzinsuffizienzpatienten aus Schweden wurden sechs Sequenzmodelle – darunter klassische Transformers, die erweiterte Transformer++ und die neueste Mamba‑Architektur – auf ihre Leistungsfähigkeit bei der Vorhersage von klinischer Instabilität, Mortalität nach der ersten Herzinsuffizienz‑Hospitalisierung und Mortalität nach der letzten Hospitalisierung getestet. Die Modelle wurden mit umfangreichen EHR‑Daten trainiert, die Diagnosen, Vitalparameter, Laborwerte, Medikamente und Verfahren umfassen.

Die Ergebnisse zeigen, dass die Llama‑basierte Transformer++ die höchste Vorhersagegenauigkeit, beste Kalibrierung und größte Robustheit über alle Aufgaben hinweg erzielt. Direkt dahinter folgen die Mamba‑Modelle, die dank ihrer effizienten Parameter­nutzung und ihrer Fähigkeit, lange Kontextlängen zu verarbeiten, ebenfalls hervorragende Leistungen erbringen. Besonders bemerkenswert ist, dass kompakte Mamba‑Konfigurationen die großen Transformer‑Modelle in vielen Fällen übertreffen, was auf eine sehr effiziente Repräsentations­lernen hinweist.

Durch gezielte Ablationsstudien – die Eingabesequenzen, architektonische Einstellungen und zeitliche Vorverarbeitung der Daten variierten – konnte zudem gezeigt werden, wie empfindlich die Modelle auf unterschiedliche Datenaufbereitung reagieren. Diese systematische Untersuchung liefert wertvolle Erkenntnisse für die praktische Anwendung von Sequenzmodellen in der klinischen Entscheidungsunterstützung und legt nahe, dass Mamba‑Architekturen ein vielversprechendes, ressourcenschonendes Alternative zu herkömmlichen Transformers darstellen.