MLCommons startet einheitliche Ontologie für wissenschaftliche ML‑Benchmarks

Wissenschaftliches Machine Learning (ML) erstreckt sich über zahlreiche Fachgebiete und Datenformate, doch bisher existierende Benchmark‑Initiativen bleiben oft isoliert und standardisiert. Das erschwert die Entwicklung und Bewertung von ML‑Lösungen für kritische wissenschaftliche Anwendungsfälle.

Um diese Fragmentierung zu überwinden, hat die MLCommons‑Community eine neue Ontologie für wissenschaftliche Benchmarks entwickelt. Sie integriert bereits etablierte Projekte wie XAI‑BENCH, FastML Science Benchmarks, PDEBench und SciMLBench und bündelt sie zu einer einheitlichen Taxonomie, die sowohl wissenschaftliche, anwendungsbezogene als auch systembezogene Benchmarks abdeckt.

Neue Benchmarks können über einen offenen Einreichungs‑Workflow, der vom MLCommons Science Working Group koordiniert wird, hinzugefügt werden. Dabei wird ein sechskategorisches Bewertungssystem angewendet, das die Qualität der Benchmarks hervorhebt und es Anwendern ermöglicht, gezielt die für ihre Bedürfnisse passenden Tests auszuwählen.

Die Architektur der Ontologie ist erweiterbar und unterstützt zukünftige wissenschaftliche und KI‑/ML‑Motiven. Gleichzeitig werden Methoden zur Erkennung aufkommender Rechenmuster für spezielle wissenschaftliche Workloads vorgestellt. Damit bietet die MLCommons Science Benchmarks Ontology eine standardisierte, skalierbare Basis für reproduzierbare, branchenübergreifende Benchmarking‑Studien im Bereich des wissenschaftlichen Machine Learning.