AssurAI: Koreanisches multimodales Dataset zur Bewertung von KI-Risiken

Die rasante Entwicklung generativer KI erfordert neue, robuste Sicherheitsprüfungen. Bisher konzentrieren sich die meisten Sicherheitsdatensätze auf Englisch und berücksichtigen kaum die spezifischen Risiken, die in nicht-englischen, sozial-kulturellen Kontexten wie Korea auftreten können. Um diese Lücke zu schließen, präsentiert das Forschungsteam AssurAI – ein sorgfältig kuratiertes, koreanisches multimodales Dataset, das die Sicherheit von generativen KI-Systemen umfassend bewertet.

Im ersten Schritt wurde ein Taxonomie-Framework mit 35 eindeutigen KI-Risiko-Faktoren entwickelt. Diese Faktoren wurden von einem interdisziplinären Expertengremium angepasst, um sowohl universelle Gefahren als auch kulturell spezifische Risiken im koreanischen Kontext abzudecken. Anschließend wurden mithilfe dieser Taxonomie 11 480 Instanzen in Text, Bild, Video und Audio erstellt und veröffentlicht.

Die Qualitätssicherung erfolgte in mehreren Phasen: Experten führten die initiale Datensammlung durch, gefolgt von einer skalierenden Crowdsourcing-Phase. Jede Instanz wurde dreifach unabhängig annotiert, und ein iterativer Red-Teaming-Loop mit Experten sorgte für kontinuierliche Verbesserungen. Ein Pilotstudie zeigte, dass AssurAI die Sicherheit aktueller Sprachmodelle zuverlässig einschätzen kann.

Durch die Veröffentlichung von AssurAI will die Forschungsgemeinschaft die Entwicklung sichererer und zuverlässigerer generativer KI-Systeme für die koreanische Community fördern. Das Dataset steht öffentlich zur Verfügung und bietet damit eine wertvolle Ressource für Entwickler, Forscher und Regulierungsbehörden, die sich mit KI-Sicherheit in einem kulturell vielfältigen Umfeld auseinandersetzen.