Meta präsentiert Code World Model: KI versteht Code nicht nur optisch, sondern auch funktional

Meta hat ein neues großes Sprachmodell für Programmierung vorgestellt, das Code nicht nur anhand seiner Syntax erkennt, sondern auch dessen Laufverhalten versteht. Das Modell, Code World Model (CWM), wurde mit umfangreichen Daten trainiert, die zeigen, wie Code mit seiner Umgebung interagiert. Dadurch kann CWM ein internes „Weltmodell“ der Funktionsweise von Computersystemen aufbauen.

Durch das Erlernen der Dynamik seiner Umgebung erzielt CWM starke Ergebnisse bei Standard-Benchmarks für Programmieren und Mathematik. Das eröffnet einen vielversprechenden Ansatz, KI-Agenten zu entwickeln, die komplexere, dynamische Softwareentwicklungsaufgaben in Unternehmensumgebungen bewältigen können.

Das CWM ist Teil einer breiteren Initiative, die darauf abzielt, große Sprachmodelle über die reine Vorhersage des nächsten Tokens hinaus zu erweitern und echte Weltmodelle zu schaffen. Meta betont, dass die bisherige Trainingsweise, bei der Modelle lediglich die nächste Anweisung vorhersagen, nicht ausreicht, um die Komplexität des Programmierens vollständig zu meistern. CWM zeigt, dass ein tieferes Verständnis des Ausführungsverhaltens entscheidend ist, um qualitativ hochwertigen und zuverlässigen Code zu generieren.