KI-Systeme im Vergleich: Menschliche Fehleranalyse eröffnet neues OOD‑Spektrum

Die Frage, ob künstliche Intelligenzen Informationen ähnlich wie Menschen verarbeiten, steht im Mittelpunkt der kognitiven Wissenschaft und der Entwicklung vertrauenswürdiger KI. Obwohl moderne Modelle bei Standardaufgaben die menschliche Genauigkeit erreichen, bedeutet das nicht automatisch, dass ihre Entscheidungsprozesse mit menschlichen Denkweisen übereinstimmen.

Um diese Übereinstimmung genauer zu prüfen, schlägt die neue Studie einen menschenzentrierten Ansatz vor, der das Ausmaß der „Out‑of‑Distribution“ (OOD) als ein Spektrum menschlicher Wahrnehmungsschwierigkeit definiert. Dabei wird gemessen, wie stark ein Stimulus von einer ungestörten Referenzreihe abweicht, basierend auf der menschlichen Genauigkeit. Dieses Verfahren erzeugt ein OOD‑Spektrum und identifiziert vier klare Schwierigkeitsregime.

Durch die Anwendung dieses Rahmens auf die Objekterkennung konnten die Forscher einzigartige, regimeabhängige Ranglisten und Profile der Modell‑Mensch‑Alignment‑Performance erstellen. Vision‑Language‑Modelle zeigten sich in nahezu allen OOD‑Bedingungen konsistent am menschlichsten ausgerichtet, während Convolutional Neural Networks (CNNs) in bestimmten Regimen stärker abweichen.

Die Ergebnisse liefern einen präzisen, kalibrierten Weg, um KI‑Modelle mit menschlicher Wahrnehmung zu vergleichen und damit die Vertrauenswürdigkeit von KI-Systemen besser zu beurteilen. Dieser Ansatz eröffnet neue Möglichkeiten, die Kluft zwischen maschineller und menschlicher Entscheidungsfindung systematisch zu schließen.