LLMs lernen Physik im Kontext: Entdeckung neuer Repräsentationen

Neues Forschungsergebnis aus dem arXiv-Preprint 2508.12448 zeigt, dass große Sprachmodelle (LLMs) in der Lage sind, physikalische Zusammenhänge direkt aus Textprompten zu erlernen. Durch ein dynamisches Vorhersageexperiment in realen physikalischen Systemen konnte nachgewiesen werden, dass die Genauigkeit der Vorhersagen mit der Länge des Kontextes steigt.

Die Autoren untersuchten die internen Aktivierungen der Modelle mit sparsamen Autoencodern (SAEs). Dabei tauchten Muster auf, die stark mit fundamentalen physikalischen Größen wie Energie korrelieren. Diese Entdeckung beweist, dass LLMs während des in‑Context‑Learnings nicht nur Muster erkennen, sondern tatsächlich physikalische Konzepte in ihren Repräsentationen verankern.

Das Ergebnis eröffnet neue Perspektiven für die Anwendung von Sprachmodellen in der Wissenschaft. Es zeigt, dass LLMs nicht nur sprachlich, sondern auch inhaltlich komplexe, naturwissenschaftliche Zusammenhänge verstehen und nutzen können – ein bedeutender Schritt in Richtung intelligenter, kontextsensitiver KI‑Systeme.