Resp-Agent: KI-System für multimodale Atemgeräusche und Diagnostik

Die aktuelle KI-basierte Atemgeräuschdiagnostik leidet unter zwei wesentlichen Problemen: Erstens geht bei der Umwandlung von Audiosignalen in Spektrogramme wichtige akustische Details verloren, und zweitens ist die Datenmenge stark begrenzt, was die Klassengleichgewichtung erschwert. Mit dem neuen System Resp-Agent werden diese Hindernisse überwunden.

Im Zentrum steht der Thinker‑A²CA, ein aktiver Adversarial Curriculum Agent, der nicht nur die Datenpipeline steuert, sondern auch gezielt diagnostische Schwächen erkennt und in einem geschlossenen Loop gezielte Syntheseaufgaben auslöst. Dadurch entsteht ein dynamisches Lernumfeld, das sich kontinuierlich an die Bedürfnisse der Diagnose anpasst.

Zur Überbrückung der Repräsentationslücke kombiniert Resp-Agent einen Modality‑Weaving Diagnoser, der elektronische Gesundheitsdaten mit Audio‑Tokens verknüpft. Durch strategische globale Aufmerksamkeit und spärliche Audio‑Anker werden sowohl langfristige klinische Kontexte als auch millisekundengenaue akustische Ereignisse erfasst.

Die Datenlücke wird mit einem Flow Matching Generator geschlossen, der ein textbasiertes Large Language Model (LLM) durch Modality Injection anpasst. Dadurch kann das System pathologische Inhalte von akustischem Stil trennen und schwer zu diagnostizierende Proben synthetisieren.

Als Basis für diese Innovationen stellt Resp-Agent das neue Benchmark‑Corpus Resp‑229k vor – 229.000 Aufnahmen, ergänzt durch LLM‑distillierte klinische Narrative. Umfangreiche Tests zeigen, dass Resp-Agent in allen Evaluationsszenarien die bisherigen Ansätze übertrifft, die diagnostische Robustheit bei Datenknappheit steigert und die Herausforderungen von stark unausgeglichenen Klassen meistert.

Der Code und die Daten sind frei verfügbar unter https://github.com/zpforlove/Resp-Agent.