MoNaCo: 1.315 komplexe, zeitintensive Fragen testen LLMs

Large Language Models (LLMs) sind inzwischen das bevorzugte Werkzeug, um Informationen abzufragen. Doch die meisten bestehenden Benchmarks enthalten kaum echte, natürliche Fragen, die für Menschen wirklich zeitaufwendig sind. Mit dem neuen MoNaCo-Benchmark werden diese Lücken geschlossen: 1.315 Fragen, die sowohl informationssuchend als auch komplex sind und oft Dutzende – manchmal sogar Hunderte – von Zwischenschritten erfordern.

Um MoNaCo zu erstellen, wurde ein aufgeteiltes Annotationsverfahren entwickelt, das es ermöglicht, natürliche, zeitintensive Fragen in großem Umfang zu generieren und manuell zu beantworten. Die Ergebnisse zeigen, dass die führenden LLMs bei MoNaCo maximal 61,2 % F1 erreichen, wobei die niedrige Trefferquote und häufige Halluzinationen die Leistung stark einschränken.

Diese Erkenntnisse unterstreichen den dringenden Bedarf an Rechenmodellen, die die Komplexität und Breite echter Informationssuche besser bewältigen können. MoNaCo bietet dabei eine wertvolle Ressource, um Fortschritte in diesem Bereich zu verfolgen. Der Benchmark, der Code, die Prompts und die Modellvorhersagen sind öffentlich zugänglich unter https://tomerwolgithub.github.io/monaco.