TriCEGAR automatisiert Zustandsabstraktion für Agentic AI – neue Laufzeitverifikation

In der Welt der Agentic AI, wo Systeme über lange, stochastische Interaktionsspuren hinweg ihre Handlungen anpassen, stellt die Gewährleistung von Sicherheit eine besondere Herausforderung dar. Das Verhalten dieser Agenten hängt von nichtdeterministischen Umgebungen und probabilistischen Modellausgaben ab, was herkömmliche Prüfmethoden erschwert.

Frühere Ansätze wie die Dynamic Probabilistic Assurance (DPA) haben bereits gezeigt, dass man Agenten in Echtzeit überwachen kann, indem man ein Markov Decision Process (MDP) lernt und quantitative Eigenschaften prüft. Ein entscheidendes Problem blieb jedoch: Entwickler mussten die Zustandsabstraktion selbst definieren, was die Anwendung stark an spezifische Heuristiken koppelte und die Akzeptanz erschwerte.

TriCEGAR löst dieses Problem, indem es die Zustandsabstraktion vollständig aus Ausführungsprotokollen ableitet. Das System sammelt typisierte Ereignisse aus dem Lebenszyklus des Agenten, baut daraus Abstraktionen in Form von Prädikatenbäumen und konstruiert dabei einen MDP in Echtzeit. Durch die Nutzung von Gegenbeispielen wird die Abstraktion kontinuierlich verfeinert, sodass die Modellprüfung stets auf einer präzisen Darstellung des Agentenverhaltens basiert.

Die probabilistische Modellprüfung liefert dabei klare Kennzahlen wie die maximale Erfolgswahrscheinlichkeit (Pmax(success)) und die minimale Fehlerrate (Pmin(failure)). Darüber hinaus ermöglicht TriCEGAR die Berechnung von Laufwahrscheinlichkeiten, die als Anomalieerkennung dienen und frühzeitig auf abweichende Verhaltensmuster hinweisen.

Mit TriCEGAR wird die Laufzeitverifikation von Agentic AI nicht mehr von manuellen Abstraktionsentscheidungen abhängig gemacht. Stattdessen bietet die Plattform eine automatisierte, datengetriebene Lösung, die die Sicherheit und Zuverlässigkeit dieser komplexen Systeme deutlich verbessert.