Linear-LLM-SCM: Benchmarking von LLMs zur Koeffizientenbestimmung

Large Language Models (LLMs) haben bereits gezeigt, dass sie qualitative kausale Beziehungen erkennen können. Die Frage, ob sie gleichzeitig quantitative Effekte – also die genauen Koeffizienten in linearen, gaussischen Strukturgleichungsmodellen – zuverlässig schätzen können, blieb bislang weitgehend unerforscht. Mit dem neuen Framework Linear-LLM-SCM wird dieses Problem systematisch angegangen.

Das Tool zerlegt ein vorgegebenes gerichtetes azyklisches Graphen (DAG) in lokale Eltern-Kind-Sets und fordert ein beliebiges LLM auf, für jedes Knoten­set eine lineare Regressionsgleichung zu formulieren. Die daraus resultierenden Gleichungen werden anschließend zu einem vollständigen Modell zusammengeführt und gegen die bekannten Ground‑Truth‑Parameter verglichen. So lässt sich die Fähigkeit von LLMs zur exakten Parametrierung quantitativ bewerten.

Die durchgeführten Experimente zeigen, dass die Ergebnisse stark stochastisch variieren und besonders anfällig für fehlerhafte Kanten im DAG sind. Zudem reagieren die geschätzten Koeffizienten empfindlich auf strukturelle und semantische Störungen. Diese Befunde verdeutlichen die aktuellen Grenzen von LLMs als quantitative Kausalparameter‑Generatoren.

Das Framework ist als Open‑Source‑Projekt verfügbar, sodass Forscher ihre eigenen DAGs und beliebige LLM‑Modelle einbinden und unkompliziert evaluieren können. Damit eröffnet Linear-LLM-SCM eine neue Plattform für die Weiterentwicklung quantitativer Kausalität in der KI‑Forschung.