LLMs lernen kausale CARE-Framework übertrifft Algorithmen

In einer neuen Studie von arXiv (2511.16016v1) zeigen große Sprachmodelle (LLMs) zwar beeindruckende Fähigkeiten in vielen Aufgaben, doch sie bleiben bei der Erkennung kausaler Zusammenhänge hinter den Erwartungen zurück. Die Forscher untersuchten, wie LLMs auf ein kausales Entdeckungsproblem reagieren, und fanden heraus, dass die Modelle vorwiegend die semantische Bedeutung von Variablennamen nutzen und die beobachteten Daten vernachlässigen.

Um dieses Defizit zu adressieren, wurden die LLMs mit den Ausgaben etablierter kausaler Entdeckungsalgorithmen gefüttert – den sogenannten Sufficient Statistics der Beobachtungsdaten. Überraschenderweise führte diese Vorgehensweise zu einer Verschlechterung der Leistung, weil die Modelle die zusätzlichen Informationen nicht effektiv einbeziehen konnten.

Die Lösung präsentiert das CARE-Framework, das LLMs durch supervised fine‑tuning beibringt, die Ergebnisse dieser Algorithmen sinnvoll zu nutzen. Nach dem Training übertrifft ein finetuned Qwen2.5‑1.5B-Modell, das mit CARE trainiert wurde, sowohl klassische kausale Entdeckungsalgorithmen als auch hochkomplexe LLMs mit über tausendmal mehr Parametern. Damit demonstriert CARE, dass LLMs ihr internes Wissen und externe algorithmische Hinweise erfolgreich kombinieren können.