KI‑Governance automatisiert: LLMs wandeln Richtlinien in ausführbare Regeln um

In der KI‑Welt werden Richtlinien meist in Fließtext verfasst, was Fachleute dazu zwingt, diese Texte manuell in ausführbare Regeln zu übersetzen. Dieser Prozess ist zeitaufwendig, fehleranfällig und verzögert die Einführung von Sicherheitsmaßnahmen in realen Anwendungen.

Um dieses Problem zu lösen, präsentiert das neue Framework Policy‑to‑Tests (P2T). P2T wandelt natürliche Sprachrichtlinien in standardisierte, maschinenlesbare Regeln um. Dabei nutzt es einen klaren Pipeline-Ansatz und eine kompakte domänenspezifische Sprache (DSL), die Gefahren, Anwendungsbereich, Bedingungen, Ausnahmen und erforderliche Beweise codiert. Das Ergebnis ist eine kanonische Darstellung der extrahierten Regeln.

Die Entwickler haben P2T nicht nur an einer einzigen Richtlinie getestet, sondern auf verschiedene allgemeine Rahmenwerke, branchenspezifische Leitfäden und Unternehmensstandards angewendet. Dabei wurden verpflichtende Klauseln identifiziert und in ausführbare Regeln überführt. Die KI‑generierten Regeln schneiden in span‑level‑ und regel‑level‑Messungen nahezu so gut ab wie menschliche Experten und zeigen eine hohe Übereinstimmung zwischen den Annotatoren.

Um die praktische Wirkung zu prüfen, wurden HIPAA‑basierte Sicherheitsmaßnahmen in einen generativen Agenten integriert und mit einem identischen Agenten ohne Schutzmechanismen verglichen. Ein LLM‑basierter Prüfer, der an den gold‑Standard‑Kriterien ausgerichtet ist, misst die Häufigkeit von Verstößen und die Robustheit gegenüber verschleierten und zusammengesetzten Eingaben. Die detaillierten Ergebnisse sind im Anhang zu finden.

Die gesamte Codebasis, die DSL, die Prompt‑Sammlung und die Regelsets werden als Open‑Source‑Ressourcen veröffentlicht, damit andere Forscher und Entwickler die Ergebnisse reproduzieren und weiterentwickeln können.