CLINB: Klimabenchmark für Sprachmodelle enthüllt Wissens- und Evidenzlücken

Ein neues Benchmark namens CLINB wurde vorgestellt, um die Leistungsfähigkeit von Large Language Models (LLMs) im Bereich Klimawissenschaften zu prüfen. Das Tool bewertet Modelle anhand von offenen, multimodalen Fragen, die reale Nutzer stellen, und verlangt dabei klare Nachweise für die Qualität des Wissens.

CLINB basiert auf einem Datensatz echter Nutzerfragen und von führenden Klimaforschern erstellten Bewertungskriterien. Durch einen modellbasierten Evaluationsprozess wurden mehrere Spitzentechnologien getestet. Die Ergebnisse zeigen, dass die fortschrittlichsten Modelle ein PhD-ähnliches Verständnis und eine hohe Präsentationsqualität erreichen.

Allerdings weisen die Tests auch erhebliche Schwächen auf: Die Modelle liefern häufig unzuverlässige Belege, insbesondere bei Referenzen und Bildern, was zu hohen Halluzinationen führt. Diese Diskrepanz zwischen Wissenssynthese und verlässlicher Attribution unterstreicht die Notwendigkeit vertrauenswürdiger Benchmarks wie CLINB, um KI-Systeme für wissenschaftliche Anwendungen sicher einzusetzen.