Neuroscience‑inspiriertes Dynamik‑Metrik deckt Funktionsregime großer Sprachmodelle

Eine neue Studie aus dem Bereich der künstlichen Intelligenz hat gezeigt, dass große Sprachmodelle wie GPT‑2 nicht nur statische Muster erzeugen, sondern komplexe, zeitlich organisierte Dynamiken besitzen. Durch die Übernahme von Konzepten aus der Neurowissenschaft – insbesondere der Metastabilität und der zeitlichen Integration – wurde ein zusammengesetztes Dynamik‑Metrik entwickelt, das die Aktivierungszeitreihen während der autoregressiven Textgenerierung auswertet.

Die Forscher haben das Metrik auf GPT‑2‑Medium angewendet und fünf unterschiedliche Bedingungen untersucht: strukturierte Problemlösung, erzwungene Wiederholung, hochtemperatur‑gestützte, verrauschte Sampling‑Methoden, gezieltes Abschneiden von Aufmerksamkeits‑Köpfen sowie das Einbringen von Gewichtsstörungen. In allen Fällen blieb die Messgröße robust gegenüber verschiedenen Layer‑Auswahlen, Kanal‑Subsampling und zufälligen Seeds.

Erfreulicherweise zeigte sich, dass die strukturierte Problemlösung konsequent höhere Werte des Dynamik‑Metrik aufwies als die anderen Regime. Die Unterschiede wurden statistisch signifikant bestätigt – mittels einer Einweg‑ANOVA und großen Effektgrößen in den wichtigsten Vergleichen. Diese Ergebnisse deuten darauf hin, dass die interne Dynamik eines Sprachmodells stark von der Art der Aufgabe beeinflusst wird.

Die Autoren betonen, dass das neue Metrik lediglich formale dynamische Eigenschaften erfasst und keine Implikationen für ein subjektives Erleben oder Bewusstsein hat. Dennoch eröffnet die Arbeit einen vielversprechenden Ansatz, um die Funktionsweise von Sprachmodellen auf einer tieferen, zeitlichen Ebene zu verstehen und vergleichbare Regime systematisch zu charakterisieren.