Zwei‑Schicht‑Monitoring für Agentic‑KI: Zuverlässigkeit in Echtzeit sichern

Agentic‑KI‑Systeme, die eigenständig auf ein definiertes Ziel hinarbeiten, versprechen in vielen Bereichen eine deutlich höhere Hilfestellung als herkömmliche KI‑Modelle. Durch die Reduktion externer Steuerung können sie komplexe Aufgaben schneller und flexibler lösen.

Doch gerade diese Autonomie bringt erhebliche Risiken mit sich: Unzuverlässige Systeme können unerwartete Verhaltensweisen zeigen, was in sicherheitskritischen Feldern wie dem Gesundheitswesen oder der Prozessindustrie untragbar ist. Um diesen Gefahren entgegenzuwirken, ist ein gezieltes Monitoring der Betriebssicherheit unerlässlich.

In der vorliegenden Arbeit wird ein zweischichtiges Monitoring‑Framework vorgestellt, das aus einer Out‑of‑Distribution‑Erkennung für neue Eingaben und einer Transparenz‑Schicht zur Offenlegung interner Abläufe besteht. Diese Kombination liefert dem menschlichen Operator die nötige Entscheidungsunterstützung, um potenziell unreliables Verhalten frühzeitig zu erkennen und zu intervenieren. Das Konzept bildet die Grundlage für weitere Maßnahmen zur Risikominimierung bei Agentic‑KI‑Systemen.