PolyBench: KI-Benchmark für Polymerdesign – Kleine Modelle schlagen Giganten

In der KI‑Forschung für die Wissenschaft hat sich gezeigt, dass große Sprachmodelle (LLMs) bei der Gestaltung von Polymeren noch nicht die gewünschten Ergebnisse liefern. Hauptgründe sind fehlendes polymer-spezifisches Wissen und unzureichende Abdeckung relevanter Fachgebiete.

Um dieses Problem zu lösen, wurde PolyBench entwickelt – ein umfangreiches Benchmark‑Set mit über 125 000 Aufgaben zur Polymergestaltung. Die Daten stammen aus einer Wissensbasis von mehr als 13 Millionen Einträgen, die sowohl experimentelle als auch synthetische Quellen umfassen und damit eine breite Abdeckung von Polymertypen und deren Eigenschaften gewährleisten.

Zur effektiven Ausrichtung der Modelle nutzt PolyBench eine wissensbasierte Distillation, die strukturierte „Chain‑of‑Thought“ (CoT) in die Trainingsdaten einbettet. Die Aufgaben sind von einfachen bis hin zu komplexen analytischen Problemen aufgebaut, was gezielte Generalisierungstests und Diagnostik ermöglicht.

Experimentelle Ergebnisse zeigen, dass kleine Sprachmodelle mit 7 bis 14 Milliarden Parametern, die auf PolyBench trainiert wurden, nicht nur ähnliche Modelle dieser Größe übertreffen, sondern sogar geschlossene, branchenführende LLMs auf dem PolyBench‑Testdatensatz schlagen. Darüber hinaus erzielen sie Verbesserungen bei anderen Polymer‑Benchmarks, was die Vielseitigkeit der Methode unterstreicht.