Entdeckung von Hochrangigen Mustern aus Simulationsspuren

KI‑Agenten, die in physikbasierten Umgebungen agieren, stehen vor einer Vielzahl komplexer Aufgaben – von der Planung über die Zusammenfassung bis hin zur Beantwortung natürlicher Sprachfragen. Diese Herausforderungen werden noch verschärft, wenn ein menschlicher Nutzer die Agenten in natürlicher Sprache leiten oder mit ihnen interagieren möchte.

Obwohl Sprachmodelle (LMs) die Standardlösung darstellen, stoßen sie bei physikalischen Aufgaben an ihre Grenzen. Ihre Fähigkeit zum physischen Denken basiert auf beobachteten Daten, nicht auf einer direkten Einbettung in Simulationen. Häufig wird versucht, Simulationsspuren als Kontext zu nutzen, doch die enorme Menge an feingranularen numerischen und semantischen Informationen macht diese Methode unpraktisch und schlecht skalierbar.

In der vorliegenden Arbeit wird ein neuer Ansatz vorgestellt, der natürliche Sprachführung nutzt, um aus detaillierten Simulationsprotokollen grobkörnige Muster wie „Kollision starrer Körper“ oder „stabile Unterstützung“ zu extrahieren. Dazu werden Programme synthetisiert, die die Logdaten verarbeiten und in eine Reihe hochrangiger Aktivierungsmuster übersetzen. Diese annotierte Repräsentation erleichtert es Sprachmodellen, physikalische Systeme in natürlicher Sprache zu analysieren.

Durch die Anwendung auf zwei physikbasierte Benchmarks konnte gezeigt werden, dass die Musterdarstellung die natürliche Sprachverarbeitung deutlich verbessert. Darüber hinaus ermöglicht der Ansatz, dass Sprachmodelle effektive Belohnungsprogramme aus in natürlicher Sprache formulierten Zielen generieren können – ein vielversprechender Schritt für Planung und überwachte Lernverfahren in KI‑Agenten.