AI-Transparenzatlas: Neues Bewertungssystem für KI-Modelle

Die Dokumentation von KI-Modellen ist bislang über verschiedene Plattformen verstreut und strukturell uneinheitlich. Das erschwert es Politikern, Prüfern und Anwendern, Sicherheitsbehauptungen, Datenherkunft und Versionsänderungen zuverlässig zu bewerten.

In einer Analyse wurden die Unterlagen von fünf Spitzenmodellen – Gemini 3, Grok 4.1, Llama 4, GPT‑5 und Claude 4.5 – sowie 100 Hugging‑Face‑Modelle untersucht. Dabei wurden 947 unterschiedliche Abschnittsnamen identifiziert, wobei die Angaben zur Nutzung unter 97 verschiedenen Bezeichnungen auftauchten.

Auf Basis des EU‑AI‑Act Annex IV und des Stanford Transparency Index entwickelte das Team ein gewichtetes Transparenz‑Framework mit acht Hauptabschnitten und 23 Unterkategorien. Dabei werden sicherheitskritische Offenlegungen (Sicherheitsbewertung 25 %, kritisches Risiko 20 %) stärker gewichtet als technische Spezifikationen.

Eine automatisierte Multi‑Agenten‑Pipeline extrahiert die Dokumentation aus öffentlichen Quellen und bewertet die Vollständigkeit mithilfe von LLM‑basiertem Konsens. Die Bewertung von 50 Modellen – Vision, multimodal, Open‑Source und Closed‑Source – kostete weniger als 3 US Dollar und zeigte systematische Lücken auf. Frontier‑Lab‑Anbieter wie xAI, Microsoft und Anthropic erreichen etwa 80 % Compliance, während die meisten Anbieter unter 60 % liegen. Besonders in sicherheitskritischen Bereichen fehlen Angaben zu Täuschungsverhalten, Halluzinationen und Kindersicherheit, die zusammen 148, 124 bzw. 116 Punkte verloren gaben.