KI‑Sicherheitsrichtlinien im Vergleich: Automatisierte Analyse mit LLMs

Forscher haben ein automatisiertes Verfahren entwickelt, das KI‑Sicherheitsrichtlinien systematisch vergleicht. Durch die Anwendung einer gemeinsamen Taxonomie – dem Activity Map on AI Safety – werden relevante Aktivitäten aus den Dokumenten extrahiert, zugeordnet und anschließend in kurzen Zusammenfassungen sowie in einem Vergleichsbericht dargestellt. Zusätzlich wird ein Ähnlichkeitswert berechnet, der die Übereinstimmung der beiden Richtlinien quantifiziert.

Um die Zuverlässigkeit der Methode zu prüfen, wurden fünf große Sprachmodelle eingesetzt, die zehn öffentlich zugängliche Dokumente analysierten. Die Ergebnisse wurden in einem Heatmap‑Diagramm visualisiert, das die durchschnittlichen Ähnlichkeitswerte anzeigt. Dabei zeigte sich, dass die Wahl des Modells einen erheblichen Einfluss auf die Ergebnisse hat und manche Dokumentenpaare stark unterschiedliche Bewertungen liefern.

Eine unabhängige Expertenbewertung mit drei Fachleuten bestätigte die Aussagekraft der automatisierten Analyse: Die menschlichen Beurteiler erreichten eine hohe Übereinstimmung, während die Modellwerte noch von den menschlichen Einschätzungen abwichen. Diese Erkenntnisse unterstreichen die Bedeutung von automatisierten Vergleichsverfahren für die transparente Bewertung von KI‑Sicherheitsrichtlinien.