Autonome Agenten: Optimierungsinstabilität gefährdet klinische Symptomerkennung

Autonome Agenten, die ihre eigenen Abläufe iterativ verbessern, versprechen enorme Fortschritte in der medizinischen Diagnostik. In einer neuen Studie wurde jedoch ein kritischer Fehler entdeckt: die Optimierung kann paradoxerweise die Leistung von Klassifikatoren verschlechtern. Das Phänomen, genannt Optimierungsinstabilität, wurde mit dem Open‑Source-Framework Pythia untersucht.

Die Forscher testeten drei klinische Symptome mit unterschiedlicher Häufigkeit – Atemnot (23 %), Brustschmerzen (12 %) und Long‑COVID‑Brain‑Fog (3 %). Dabei schwankte die Validierungssensitivität zwischen 1,0 und 0,0 über mehrere Iterationen. Besonders bei der seltenen Symptomgruppe zeigte das System eine 95 %ige Genauigkeit, jedoch keine erkannten positiven Fälle – ein Fehler, der durch herkömmliche Metriken verborgen bleibt.

Zur Stabilisierung wurden zwei Ansätze evaluiert. Ein „Guiding Agent“ versuchte aktiv, die Optimierung zu steuern, führte jedoch zu verstärktem Overfitting. Ein „Selector Agent“ wählte hingegen retrospektiv die beste Iteration aus und verhinderte katastrophale Fehler. Mit diesem Ansatz übertraf das System lexikografisch kuratierte Expertensätze bei der Erkennung von Brain‑Fog um 331 % (F1‑Score) und bei Brustschmerzen um 7 %, obwohl nur ein einzelner natürlicher Sprachbegriff als Eingabe verwendet wurde.

Die Ergebnisse zeigen, dass autonome KI-Systeme bei seltenen Klassifikationsaufgaben anfällig für Optimierungsinstabilität sind. Retrospektive Auswahl von Iterationen erwies sich als wirksamer Stabilisierungsmethode als aktive Interventionen und liefert einen wichtigen Leitfaden für die sichere Implementierung autonomer Agenten in der klinischen Praxis.