KI News: Kurz und klar.

Ein neues Benchmarking-Tool namens Finch wurde vorgestellt, das KI-Agenten in realen, unternehmensweiten Finanz- und Rechnungsprozessen testet. Die Daten stammen aus authentischen Arbeitsbereichen, darunter 15.000 Tabellenkalkulationen und 500.000 E-Mails von 150 Mitarbeitern bei Enron sowie weiteren Finanzinstituten. Dadurch bleibt die natürliche Unordnung und Vielfalt von Text, Tabellen, Formeln, Diagrammen, Code und Bildern erhalten.

Ein brandneues Dataset namens LEGIT (LEGal Issue Trees) hat die Forschung im Bereich juristischer KI auf ein neues Level gehoben. Mit 24.000 hochqualitativen Instanzen bietet LEGIT eine umfassende Basis, um die Qualität von LLM-generierten Argumentationspfaden in komplexen Rechtsfragen zu prüfen.

In der heutigen Zeit, in der maschinelles Lernen stark von präzisen Labels abhängt, bleibt die Beschaffung solcher Daten ein kostspieliger und zeitintensiver Prozess. Neueste Ansätze nutzen große Sprachmodelle (LLMs) zur Annotation, doch die Qualität der automatisch generierten Labels erreicht noch nicht die menschliche Ebene.

In einer neuen Studie aus dem arXiv‑Repository wird gezeigt, wie große Sprachmodelle (LLMs) die Qualität ihrer eigenen Annotationen von Lerninteraktionen deutlich erhöhen können. Durch gezielte Prüfungen – entweder selbstständig oder untereinander – lassen sich die Zuverlässigkeit und Genauigkeit der Codierung von Tutor‑Dialogen signifikant verbessern.

Der Artikel erklärt Schritt für Schritt, wie man vorannotierte Daten aus dem VOC-Format in das JSON-Format überführt, sie in Label Studio importiert und die komplette Umgebung mit Docker startet. Durch die Nutzung von Docker Compose lässt sich die gesamte Pipeline schnell und reproduzierbar aufsetzen.

Large Language Models (LLMs) sind inzwischen das bevorzugte Werkzeug, um Informationen abzufragen. Doch die meisten bestehenden Benchmarks enthalten kaum echte, natürliche Fragen, die für Menschen wirklich zeitaufwendig sind. Mit dem neuen MoNaCo-Benchmark werden diese Lücken geschlossen: 1.315 Fragen, die sowohl informationssuchend als auch komplex sind und oft Dutzende – manchmal sogar Hunderte – von Zwischenschritten erfordern.