Neues Benchmark-Dataset zur Bewertung von NLP- und RAG-Systemen im EU AI Act

Ein neues, öffentlich zugängliches Benchmark-Dataset wurde vorgestellt, das die Bewertung von NLP‑ und Retrieval‑Augmented‑Generation‑Systemen im Hinblick auf die Einhaltung des EU AI Act erleichtert. Das Projekt setzt auf Transparenz und Reproduzierbarkeit, um die Entwicklung von Compliance‑Tools zu beschleunigen.

Das Dataset umfasst vier zentrale Aufgaben: die Klassifizierung von Risikostufen, die Suche nach relevanten Artikeln, die Generierung von Verpflichtungen und die Beantwortung von Fragen zum EU AI Act. Durch die Kombination von Fachwissen mit der Rechenkraft großer Sprachmodelle werden realistische Szenarien erzeugt, die die Anforderungen des Gesetzes abbilden.

Ein Hauptvorteil liegt darin, dass das Tool die bislang fehlenden Ressourcen für die halbautomatische oder automatisierte Bewertung von KI‑Systemen kompensiert. Manuelle Prüfungen, die oft fehleranfällig und zeitaufwendig sind, werden dadurch reduziert, und auch Fälle, die im Gesetz nicht eindeutig definiert sind, können besser adressiert werden.

Die Autoren demonstrieren die Wirksamkeit des Datensatzes anhand von Testläufen, die zeigen, dass die generierten Aufgaben eine hohe Dokumentenrelevanz aufweisen und die Grenzen zwischen Risikostufen zuverlässig navigieren. Dieses Open‑Source‑Projekt bietet damit eine solide Grundlage für die weitere Forschung und die Entwicklung von Compliance‑lösungen im europäischen KI‑Umfeld.