EvasionBench: Benchmark zur Erkennung von Ausweichantworten in Finanzfragen

Ein neues Forschungsprojekt namens EvasionBench liefert erstmals einen umfangreichen Datensatz, um das Erkennen von Ausweichantworten in Unternehmensberichten zu verbessern. Der Datensatz umfasst 30.000 Trainingsbeispiele und 1.000 von Menschen annotierte Testfälle, die mit einem Cohen‑Kappa von 0,835 eine hohe Interrater‑Zuverlässigkeit aufweisen. Die Beispiele sind in drei Schwierigkeitsstufen unterteilt, was die Vielfalt der Ausweichstrategien widerspiegelt.

Die zentrale Innovation ist ein Multi‑Model‑Annotation‑Framework, das auf dem Prinzip basiert, dass Uneinigkeit zwischen hochmodernen Sprachmodellen besonders wertvolle Trainingsfälle signalisiert. Durch das gezielte Mining von Grenzfällen, in denen zwei starke Annotatoren widersprüchliche Bewertungen liefern, wird ein „Judge“ eingesetzt, um die endgültige Kennzeichnung zu bestimmen. Dieser Ansatz übertrifft die klassische Distillation eines einzelnen Modells um 2,4 % und zeigt, dass die Auflösung von Konflikten die Generalisierung verbessert, obwohl der Trainingsverlust leicht höher ist (0,421 vs. 0,393). Die Ergebnisse deuten darauf hin, dass das Mining von Unstimmigkeiten als implizite Regularisierung wirkt.

Das daraus trainierte Modell Eva‑4B, mit 4 Milliarden Parametern, erreicht eine Genauigkeit von 81,3 %. Damit übertrifft es sein Basismodell um 25 Prozentpunkte und kommt der Leistung führender Sprachmodelle nahe, jedoch zu einem Bruchteil der Inferenzkosten. EvasionBench stellt damit einen wichtigen Schritt in Richtung transparenterer Finanzkommunikation dar und bietet Forschern sowie Praktikern ein leistungsfähiges Werkzeug zur Erkennung von Ausweichantworten.