HybridRAG‑Bench: Benchmark für Retrieval‑gestützte Mehrschritt‑Logik

Große Sprachmodelle (LLMs) kämpfen weiterhin mit wissensintensiven Fragen, die aktuelle Informationen und mehrstufige Logik erfordern. Durch die Ergänzung mit hybriden externen Wissensquellen – unstrukturierte Texte und strukturierte Wissensgraphen – lässt sich dieser Engpass jedoch überwinden, ohne teure kontinuierliche Pre‑Training‑Cycles durchzuführen.

Um die tatsächlichen Retrieval‑ und Reasoning‑Fähigkeiten solcher Retrieval‑Augmented Models (RAG) zu messen, hat ein internationales Forschungsteam den HybridRAG‑Bench entwickelt. Dieser Rahmen ermöglicht die Erstellung von Benchmarks, die speziell auf die Kombination von unstrukturiertem Text und strukturiertem Wissensgraphen ausgerichtet sind und Mehrschritt‑Inference erfordern.

HybridRAG‑Bench verbindet automatisch Inhalte aus aktuellen wissenschaftlichen Arbeiten auf arXiv mit zugehörigen Wissensgraphen. Auf dieser Basis werden Frage‑Antwort‑Paare generiert, die explizite Beweiswege enthalten. Der Rahmen erlaubt die Auswahl von Fachgebieten und Zeiträumen, sodass die Tests stets frei von Pre‑Training‑Kontaminationen bleiben und sich an die Weiterentwicklung von Modellen und Wissensdatenbanken anpassen lassen.

In Experimenten zu den Bereichen Künstliche Intelligenz, Governance & Policy sowie Bioinformatik zeigte sich, dass HybridRAG‑Bench echte Retrieval‑ und Reasoning‑Fähigkeiten belohnt, anstatt lediglich parametergestützte Erinnerungen zu messen. Der komplette Code und die Datensätze stehen öffentlich zur Verfügung, sodass die Forschungsgemeinschaft sofort damit experimentieren kann.