EgoEMS: Erstes multimodales Datenset für KI‑Unterstützung im Rettungsdienst
Der Rettungsdienst steht unter enormem kognitiven Druck, wenn schnelle Entscheidungen in lebensbedrohlichen Situationen getroffen werden müssen. Künstliche Intelligenz kann als virtueller Partner fungieren und die Belastung der Einsatzkräfte reduzieren, indem sie Echtzeitdaten sammelt und Entscheidungsprozesse unterstützt.
Mit EgoEMS wird das erste end‑to‑end‑Datenset vorgestellt, das über 20 Stunden realitätsnaher, prozeduraler EMS‑Aktivitäten aus einer Ego‑Perspektive erfasst. Die Daten stammen aus 233 simulierten Notfallszenarien, die von 62 Teilnehmenden – darunter 46 erfahrene EMS‑Professionals – durchgeführt wurden. Das Set wurde mit einem offenen, kostengünstigen und replizierbaren System aufgenommen, das sich an nationalen Standards orientiert.
Die Annotationen umfassen Schlüsselschritte, zeitlich abgestimmte Audio‑Transkripte mit Sprecher‑Diarisation, Qualitätsmetriken für Handlungen sowie Bounding‑Boxes und Segmentierungs‑Masken. Besonders hervorzuheben ist die authentische Darstellung von Interaktionen zwischen Einsatzkräften und Patienten, die die dynamischen Abläufe echter Notfälle widerspiegeln.
Zusätzlich werden Benchmarks für die Echtzeit‑Erkennung von Schlüsselschritten und die Bewertung der Handlungsqualität bereitgestellt. Diese Werkzeuge bilden die Grundlage für die Entwicklung intelligenter Assistenzsysteme im Rettungsdienst und versprechen letztlich eine Verbesserung der Patientenergebnisse.