Neue Evaluationsmethode erkennt echte Generalisierung statt bloßer Genauigkeit

In einer wegweisenden Studie wird eine neue Evaluationsstrategie vorgestellt, die weit über die herkömmliche Genauigkeitsmessung hinausgeht. Die Forscher zeigen, dass reine Accuracy‑Scores häufig irreführend sind, weil sie echte Generalisierung von bloßen Lernabkürzungen nicht unterscheiden können.

Besonders in Datensätzen mit wenigen Beispielen können Modelle durch Memorisation, Datenlecks oder fragile Heuristiken beeindruckende Genauigkeiten erzielen, ohne tatsächlich das zugrundeliegende Problem zu verstehen. Diese Schwächen bleiben bei Standardtests verborgen, was die Vertrauenswürdigkeit von KI‑Systemen gefährdet.

Die vorgeschlagene „symbolic‑mechanistic“ Evaluierung kombiniert task‑relevante symbolische Regeln mit mechanistischer Interpretierbarkeit. Durch algorithmische Pass/Fail‑Scores wird explizit sichtbar, wo ein Modell wirklich generalisiert und wo es lediglich Muster ausnutzt. Diese Methode liefert somit ein viel genaueres Bild der tatsächlichen Leistungsfähigkeit.

Als Demonstration wurden zwei identische Architekturen für die Aufgabe NL‑to‑SQL unter unterschiedlichen Bedingungen trainiert: eine ohne Schema‑Informationen, die gezwungen war, sich zu memorieren, und eine mit Schema‑Informationen, die echte Grounding‑Fähigkeiten nutzen konnte. Während die Memorierungs‑Variante bei unbekannten Daten eine beeindruckende Feldnamen‑Genauigkeit von 94 % erzielte, zeigte die symbolisch‑mechanistische Analyse, dass sie zentrale Schema‑Generalisation‑Regeln verletzte – ein Versagen, das die herkömmliche Accuracy völlig verschleierte.

Diese Arbeit unterstreicht die Notwendigkeit, Evaluationsmethoden zu entwickeln, die nicht nur die Leistung messen, sondern auch die zugrundeliegenden Mechanismen verstehen. Damit wird ein entscheidender Schritt in Richtung vertrauenswürdiger, erklärbarer KI unternommen.