EvasionBench: Benchmark zur Erkennung von Ausweichantworten in Finanzfragen
Ein neues Forschungsprojekt namens EvasionBench liefert erstmals einen umfangreichen Datensatz, um das Erkennen von Ausweichantworten in Unternehmensberichten zu verbessern. Der Datensatz umfasst 30.000 Trainingsbeispiele und 1.000 von Menschen annotierte Testfälle, die mit einem Cohen‑Kappa von 0,835 eine hohe Interrater‑Zuverlässigkeit aufweisen. Die Beispiele sind in drei Schwierigkeitsstufen unterteilt, was die Vielfalt der Ausweichstrategien widerspiegelt.