Neues Benchmark JFTA-Bench bewertet LLMs bei Fehleranalyse mit Fehlerbäumen

Ein kürzlich auf arXiv veröffentlichtes Papier (ID 2603.22978v1) stellt ein brandneues Benchmark vor, das die Fähigkeit großer Sprachmodelle (LLMs) testet, Fehler in komplexen Systemen zu verfolgen und zu analysieren. Das Konzept nutzt Fehlerbäume – strukturierte Diagramme, die häufig in der Wartung eingesetzt werden, um Probleme zu lokalisieren und gezielte Lösungen zu finden.

Um Fehlerbäume, die üblicherweise als Bilder vorliegen, direkt von LLMs verarbeiten zu lassen, wurde eine neue textbasierte Repräsentation entwickelt. Auf dieser Basis entstand JFTA‑Bench, ein umfangreiches Multi‑Turn‑Dialog‑Benchmark mit 3 130 Einträgen. Jeder Eintrag umfasst durchschnittlich 40,75 Gesprächswechsel, was die Komplexität realer Wartungsszenarien widerspiegelt.

Das Benchmark‑Set simuliert zudem typische Nutzerverhalten, indem ein End‑to‑End‑Modell vage Informationen generiert und lange Rollback‑ sowie Wiederherstellungsprozesse einführt, um Fehler‑Szenarien zu reproduzieren. Dadurch kann die integrierte Leistungsfähigkeit eines Modells in Bezug auf Aufgabenverfolgung und Fehlerbehebung umfassend bewertet werden.

Bei den ersten Tests zeigte das Modell Gemini 2.5 Pro die beste Leistung und demonstriert damit das Potenzial moderner LLMs, komplexe Fehlersituationen zu erkennen und zu beheben. JFTA‑Bench bietet damit eine solide Grundlage für die Weiterentwicklung von KI‑gestützten Wartungssystemen.