TPRU: Datensatz für zeitliches und prozedurales Verständnis in Modellen

Multimodale Large Language Models (MLLMs) stoßen häufig an die Grenze, wenn es darum geht, zeitliche Abläufe und prozedurale Abläufe in visuellen Daten zu verstehen. Dieses Problem hemmt die praktische Anwendung von MLLMs in realen, körperlich agierenden KI‑Systemen. Die Ursache liegt in den gängigen Trainingsparadigmen, die nicht über groß angelegte, prozedurally kohärente Daten verfügen.

Um diese Lücke zu schließen, hat das Forschungsteam TPRU – ein umfangreiches Datenset aus vielfältigen eingebetteten Szenarien wie Robotikmanipulation und GUI‑Navigation – entwickelt. TPRU ist gezielt darauf ausgelegt, das zeitliche Denken zu fördern und besteht aus drei ergänzenden Aufgaben: Temporal Reordering, Next‑Frame Prediction und Previous‑Frame Review. Ein besonderes Merkmal sind anspruchsvolle negative Beispiele, die Modelle dazu zwingen, von passiver Beobachtung zu aktivem, cross‑modalem Validieren überzugehen.

Die Autoren nutzen TPRU in Kombination mit einer Reinforcement‑Learning‑Feinabstimmung, um ressourcenschonende Modelle gezielt zu verbessern. Die Ergebnisse sind beeindruckend: Auf dem selbst zusammengestellten TPRU‑Test steigt die Genauigkeit des 7‑Billionen‑Parameter‑Modells TPRU‑7B von 50,33 % auf 75,70 %. Damit übertrifft es deutlich größere Baselines, darunter GPT‑4o, und demonstriert gleichzeitig eine starke Generalisierung auf etablierten Benchmarks.

Der komplette Code ist öffentlich zugänglich unter https://github.com/Stephen-gzk/TPRU/.