WildSci: Neue Datenbank für wissenschaftliches LLM‑Reasoning
In den letzten Jahren haben große Sprachmodelle (LLMs) vor allem in Bereichen wie Mathematik und Programmierung enorme Fortschritte gemacht – dank reichlich hochwertiger Daten und klarer Bewertungskriterien. In wissenschaftlichen Feldern wie Medizin oder Materialwissenschaften hingegen bleibt die Entwicklung von LLM‑Reasoning-Modellen hinter den Erwartungen zurück, weil die Datenlage begrenzt ist und die Fragen oft komplex und offen sind.
Um diese Lücke zu schließen, hat ein Forschungsteam die neue Datenbank WildSci vorgestellt. Sie besteht aus automatisch generierten, domänenspezifischen Fragen, die aus peer‑reviewed Fachartikeln extrahiert wurden. Die Fragen decken neun wissenschaftliche Disziplinen und 26 Unterbereiche ab und sind im Multiple‑Choice‑Format strukturiert, was ein skalierbares Training mit klaren Belohnungssignalen ermöglicht.
Darüber hinaus wurden die Modelle mithilfe von Reinforcement Learning auf den WildSci‑Datensatz feinjustiert. Die Analyse der Trainingsdynamik zeigt, wie sich die Leistung je nach Fachgebiet verändert, welche Antwortverhalten sich entwickeln und wie gut die Modelle auf neue Aufgaben generalisieren.
Experimentelle Tests an einer Reihe wissenschaftlicher Benchmarks belegen die Wirksamkeit des Ansatzes. Die Entwickler haben WildSci öffentlich zugänglich gemacht, sodass Forscher weltweit von einer skalierbaren und nachhaltigen Plattform für wissenschaftliches LLM‑Reasoning profitieren können. Der Datensatz ist unter https://huggingface.co/datasets/JustinTX/WildSci verfügbar.