ChemVTS-Bench: Neuer Test für multimodale Chemie-Modelle
Die Chemie erfordert die gleichzeitige Verarbeitung von Bild-, Text- und Symbolinformationen. Bisherige Benchmarks greifen jedoch meist auf einfache Bild‑Text‑Paare zurück und erfassen die Komplexität chemischer Semantik nicht vollständig. Dadurch bleibt unklar, wie gut multimodale Large Language Models (MLLMs) tatsächlich chemisch relevante Daten über verschiedene Modalitäten hinweg verarbeiten können.
Mit ChemVTS‑Bench wird ein domänenauthentisches Testfeld geschaffen, das die Visual‑Textual‑Symbolic (VTS) Denkfähigkeiten von MLLMs systematisch bewertet. Das Benchmark umfasst anspruchsvolle Aufgaben aus organischer Chemie, anorganischen Materialien und 3‑D‑Kristallstrukturen. Jede Aufgabe wird in drei ergänzenden Eingabeformaten präsentiert: (1) rein visuell, (2) visuell‑textuell kombiniert und (3) als SMILES‑Symbolik.
Durch ein automatisiertes Agenten‑Workflow‑System werden Inferenz, Antwortverifikation und Fehlerdiagnose standardisiert, was eine rigorose und reproduzierbare Bewertung ermöglicht. Umfangreiche Experimente mit führenden MLLMs zeigen, dass rein visuelle Eingaben besonders schwierig sind, strukturelle Chemie die härteste Domäne darstellt und die multimodale Fusion zwar Fehler reduziert, aber noch nicht vollständig eliminiert.
ChemVTS‑Bench bietet damit ein anspruchsvolles, domänengetreues Testumfeld, um die Weiterentwicklung multimodaler chemischer Modelle voranzutreiben. Alle Daten und Code werden veröffentlicht, um zukünftige Forschung zu unterstützen.