Semore: VLM-gesteuerte semantische Bewegungsdarstellungen für visuelles RL

In einer neuen Veröffentlichung auf arXiv wird Semore vorgestellt, ein innovatives Framework, das Vision‑Language‑Modelle (VLM) nutzt, um die Effektivität von visuellen Reinforcement‑Learning‑Algorithmen zu steigern. Durch die Kombination von semantischen und Bewegungsinformationen aus RGB‑Flussdaten liefert Semore eine reichhaltigere Repräsentation für die Entscheidungsfindung.

Der Ansatz verwendet einen Dual‑Path‑Backbone, der gleichzeitig semantische Inhalte und Bewegungsdaten extrahiert. Dabei greift das System auf ein VLM mit Allgemeinwissen zurück, um Schlüsselinformationen aus den Beobachtungen zu ziehen, und nutzt ein vortrainiertes CLIP-Modell, um Text‑Bild‑Alignment zu gewährleisten. Diese Technik integriert die wahren Repräsentationen direkt in die Basisnetzwerke.

Um die beiden Informationsströme effizient zu kombinieren, wird eine separat überwachte Lernstrategie eingesetzt. Diese erlaubt es, Semantik und Bewegung gleichzeitig zu extrahieren und gleichzeitig eine spontane Interaktion zwischen beiden zu ermöglichen. Experimente zeigen, dass Semore unter VLM‑Geleitungsbedingungen eine höhere Effizienz und Anpassungsfähigkeit als aktuelle Spitzenmethoden erreicht.

Alle Code‑Dateien sind öffentlich zugänglich, sodass Forscher und Entwickler die Technologie leicht übernehmen und weiterentwickeln können.