SCALAR-Benchmark prüft Halluzinationen und Konsistenz in Material-ML-Modellen

Wissenschaftler haben ein neues Benchmark namens SCALAR entwickelt, das die Leistungsfähigkeit von Sprachmodellen in der Materialwissenschaft genauer untersucht. SCALAR bewertet, wie gut Modelle geometrische Strukturen auf unterschiedlichen Skalen erkennen und vorhersagen können, von wenigen Atomen bis zu über 18.000 Atomen.

Das Benchmark besteht aus drei Aufgaben: Erstens die Vorhersage von Materialeigenschaften aus CIF-Dateien, zweitens eine Chain-of-Thought-Variante, die physikbasierte Argumentation erfordert, und drittens die Rückwärtssuche, bei der Kristalle anhand gewünschter Eigenschaften identifiziert werden. Für jede Aufgabe werden strukturierte Metriken verwendet, die numerische Fehler, Halluzinationen, Konsistenz über verschiedene Eingaben hinweg, monotone Logik, Gültigkeit der Ausgaben und Rückrufverluste messen.

Durch umfangreiche Tests mit verschiedenen Foundation-Modellen zeigte sich, dass explizite Reasoning-Mechanismen die Halluzinationen und Fehler reduzieren, jedoch oft die Konsistenz oder Gültigkeit der Ergebnisse beeinträchtigen. Die Ergebnisse verdeutlichen, dass die Fähigkeit, geometrische Skalen zu verallgemeinern, nicht allein aus der Genauigkeit abgeleitet werden kann.

Weitere Informationen und ergänzende Materialien finden Sie auf GitHub unter https://github.com/KurbanIntelligenceLab/SCALAR.