LLM-Tests: RAG-System übertrifft geschlossene Modelle Hochtemperatur-Supraleitung

In einer aktuellen Studie aus dem arXiv-Repository wurde die Leistungsfähigkeit von Large Language Models (LLMs) im Bereich der Hochtemperatur-Supraleitung systematisch untersucht. Dabei wurden 1 726 wissenschaftliche Arbeiten zu cupratischen Hochtemperatur-Supraleitern zusammengetragen und 67 Fragen von Fachexperten entwickelt, die ein tiefes Verständnis der Literatur erfordern.

Sechs verschiedene LLM‑Systeme – darunter kommerzielle, geschlossene Modelle und ein maßgeschneidertes Retrieval‑Augmented‑Generation (RAG) System, das zusätzlich Bilder aus den Publikationen abrufen kann – wurden getestet. Experten bewerteten die Antworten anhand eines Rubrics, der ausgewogene Perspektiven, faktische Vollständigkeit, Prägnanz und Beweisführung berücksichtigt.

Erfreulicherweise konnten zwei RAG‑Modelle die geschlossenen Systeme in allen wichtigen Metriken übertreffen, insbesondere bei der Bereitstellung umfassender und gut belegter Antworten. Die Ergebnisse zeigen, dass RAG‑Ansätze das Potenzial haben, die Lücke zwischen maschineller Textgenerierung und fachlicher Expertise zu schließen.

Gleichzeitig wurden Schwächen aller getesteten Modelle aufgezeigt, etwa bei der Handhabung komplexer Fachbegriffe und der Konsistenz von Fakten. Die im Rahmen der Studie erstellten Fragen und das Bewertungssystem stellen eine wertvolle Ressource dar, um zukünftige LLM‑basierte Reasoning‑Systeme auf Expertenniveau zu prüfen.