Neues Heliophysik-Dataset „Reasoning With a Star“ für KI‑gestützte Forschung

In der Heliophysik geht es bei der wissenschaftlichen Argumentation mit großen Sprachmodellen nicht nur um Faktenabruf. Es muss physikalische Annahmen berücksichtigen, Einheiten konsistent halten und Ergebnisse in klaren wissenschaftlichen Formaten präsentieren. Das neue Dataset „Reasoning With a Star“ adressiert diese Anforderungen, indem es Fragen und Antworten aus den Problem‑Sets der NASA‑ und UCAR‑Sommer‑School „Living With a Star“ sammelt und in ein leicht nutzbares Format überführt.

Jede Frage enthält einen Kontext, die zugehörigen Schrittabfolgen, den erwarteten Antworttyp, die Ground‑Truth‑Ziele, Format‑Hinweise und Metadaten. Ein programmatischer Prüfer bewertet die Vorhersagen anhand von einheitenbewussten Toleranzen, symbolischer Äquivalenz und Schema‑Validierung, sodass die Ergebnisse zuverlässig und reproduzierbar sind.

Bei der ersten Benchmark‑Analyse wurden ein einzelnes Prompting und vier Multi‑Agent‑Strategien getestet. Die Ergebnisse zeigen, dass die Aufteilung von Arbeitsabläufen nach Prinzipien des System‑Engineerings die direkte Prompting‑Methode bei deduktiven Aufgaben deutlich übertrifft. Damit liefert „Reasoning With a Star“ einen wichtigen Schritt zur Verbesserung der KI‑gestützten Forschung in der Heliophysik.