Physik-Modelle: Kausale Steuerung von Konzepten in einem Physik-Foundation-Modell

In einer kürzlich veröffentlichten Studie wurde gezeigt, dass ein großes, auf Physik spezialisiertes Foundation-Modell nicht nur konkrete Objekte, sondern auch abstrakte, menschlich verständliche Konzepte intern repräsentiert. Durch gezielte Manipulation dieser versteckten Features lässt sich das Verhalten des Modells steuern.

Die Forscher extrahierten Aktivierungsvektoren, während das Modell Simulationen verschiedener physikalischer Regime durchlief. Anschließend berechneten sie die Differenzvektoren – sogenannte Delta‑Repräsentationen – zwischen den Regimen. Diese Vektoren fungieren als Richtungen im Aktivierungsraum, die spezifische physikalische Eigenschaften kodieren.

Indem sie diese Konzept‑Richtungen während der Inferenz wieder in das Modell einspeisten, konnten sie die Vorhersagen gezielt beeinflussen. Das Ergebnis: das Modell zeigte kausale Kontrolle über physikalische Verhaltensweisen, etwa das gezielte Einführen oder Entfernen bestimmter Merkmale in einer Simulation.

Die Ergebnisse deuten darauf hin, dass wissenschaftliche Foundation‑Modelle über generalisierte Darstellungen physikalischer Prinzipien verfügen und nicht lediglich oberflächliche Korrelationen nutzen. Diese Erkenntnisse eröffnen neue Wege, um wissenschaftliche Modelle besser zu verstehen und zu steuern.