Table-BiEval: Selbstlernende Bewertung von LLMs für Struktur und Inhalt

Forscher haben ein neues, selbstlernendes Bewertungssystem namens Table-BiEval entwickelt, das Large Language Models (LLMs) auf ihre Fähigkeit prüft, natürliche Sprache in präzise, strukturierte Formate zu übersetzen – ein entscheidender Schritt für autonome Agenten und die Nutzung von Tools.

Table-BiEval nutzt einen dualen Ansatz, bei dem die Struktur und der Inhalt eines Textes getrennt analysiert werden. Durch deterministische Zwischendarstellungen werden zwei Kennzahlen berechnet: die Content Semantic Accuracy, die die inhaltliche Richtigkeit misst, und der Normalized Tree Edit Distance, der die strukturelle Übereinstimmung bewertet. Dieser Ansatz eliminiert den Bedarf an kostenintensiver menschlicher Bewertung und erkennt semantische Abweichungen, die herkömmliche Textmetriken übersehen.

In einer umfangreichen Studie wurden 15 der fortschrittlichsten LLMs auf zwei Topologie-Dimensionen – hierarchische Strukturen und flache Tabellen – getestet. Die Ergebnisse zeigen, dass mittelgroße Modelle in vielen Fällen die großen Modelle in Bezug auf strukturelle Effizienz übertreffen. Gleichzeitig bleibt die tief verschachtelte Rekursion ein allgemeines Engpassproblem für aktuelle Architekturen.

Table-BiEval liefert damit ein robustes, kostenfreies Werkzeug, um die Leistungsfähigkeit von LLMs im Bereich der strukturierten Datenverarbeitung zu messen. Die Erkenntnisse legen nahe, dass zukünftige Entwicklungen stärker auf die Optimierung von Strukturverständnis abzielen sollten, um die volle Leistungsfähigkeit autonomer Sprachagenten auszuschöpfen.