MIMIC: Mit innerer Sprache steuert KI menschliches Verhalten

Die Koordination von Menschen und künstlicher Intelligenz erfordert Agenten, die menschliche Verhaltensweisen nachahmen und gleichzeitig flexibel auf wechselnde Situationen reagieren können. Traditionelle Imitationslernverfahren stoßen dabei an ihre Grenzen, weil sie die Vielfalt und die nicht-Markov‑Charakteristik menschlicher Handlungen nicht vollständig erfassen und keine Steuerung des Verhaltens während der Ausführung ermöglichen.

In der neuen Arbeit wird das Konzept „innerer Sprache“ – ein zentrales Element menschlicher kognitiver Prozesse – als Leitfaden für die Auswahl von Aktionen genutzt. Das vorgeschlagene Framework namens MIMIC (Modeling Inner Motivations for Imitation and Control) kombiniert vision‑Language‑Modelle mit einem konditionalen Variational Autoencoder, um aus Beobachtungen eine interne sprachliche Darstellung des Verhaltens zu erzeugen. Anschließend wählt eine Diffusions‑basierte Verhalten‑Klonierungs‑Policy Aktionen, die auf die aktuelle Beobachtung und die generierte innere Rede abgestimmt sind.

Durch diese Architektur kann der Agent sein Verhalten in Echtzeit feinjustieren, indem er auf spezifische sprachliche Anweisungen reagiert, ohne dass zusätzliche Demonstrationen benötigt werden. Experimente in Robotik‑Manipulationsaufgaben und kooperativen Mensch‑KI‑Spielen zeigen, dass MIMIC die Vielfalt der erzeugten Verhaltensweisen deutlich erhöht und die Übereinstimmung mit menschlichen Demonstrationen verbessert. Der komplette Code sowie vortrainierte MIMIC‑Agenten und qualitative Demonstrationen werden als Open‑Source bereitgestellt.