SPM-Bench: Neuer LLM-Benchmark für Scanning Probe Microscopy

Mit dem neuen SPM‑Bench wird die Leistungsfähigkeit von Large Language Models (LLMs) im Bereich der Scanning Probe Microscopy (SPM) auf ein neues Niveau gehoben. Während LLMs in allgemeinen Aufgaben beeindruckende Fortschritte erzielt haben, offenbaren sich in spezialisierten wissenschaftlichen Domänen deutliche Lücken – verursacht durch Datenkontamination, mangelnde Komplexität und hohe Kosten für menschliche Bewertung.

SPM‑Bench bietet einen PhD‑level multimodalen Benchmark, der speziell für SPM entwickelt wurde. Durch einen vollständig automatisierten Daten‑Synthese‑Pipeline werden hochwertige Bild‑Text‑Paare aus arXiv‑ und Fachzeitschriftenartikeln der Jahre 2023 bis 2025 generiert. Dabei nutzt die Pipeline die Anchor‑Gated Sieve (AGS) Technologie, um gezielt wertvolle Paare zu extrahieren und gleichzeitig die Datenqualität hoch zu halten.

Ein innovatives Hybrid‑Cloud‑Local‑Modell sorgt dafür, dass die Vision‑Language‑Models (VLMs) lediglich die räumlichen Koordinaten („llbox“) für präzises lokales Zuschneiden zurückgeben. Diese Technik spart enorme Token‑Kosten und garantiert gleichzeitig eine hohe Dataset‑Reinheit.

Zur objektiven Bewertung der Modelle wurde der Strict Imperfection Penalty F1 (SIP‑F1) Score eingeführt. Dieser Maßstab schafft nicht nur eine klare Hierarchie der Fähigkeiten, sondern quantifiziert erstmals die „Persönlichkeiten“ der Modelle – von konservativ über aggressiv bis hin zu risikofreudig oder weise. Durch die Korrelation mit Modell‑Selbstvertrauen und wahrgenommener Schwierigkeit werden die wahren Grenzen des AI‑Denkens in komplexen physikalischen Szenarien sichtbar.

SPM‑Bench stellt damit ein generalisierbares Paradigma für die automatisierte wissenschaftliche Datensynthese dar und eröffnet neue Wege, um die Leistungsfähigkeit von KI in hochspezialisierten Forschungsfeldern systematisch zu messen und zu verbessern.