PyVision‑RL: Open‑Weight‑Agenten mit stabiler Interaktion dank RL

PyVision‑RL ist ein neues Reinforcement‑Learning‑Framework, das speziell für offene, multimodale Modelle entwickelt wurde. Es verhindert das häufig auftretende „Interaction Collapse“, bei dem Agenten ihre Tool‑Nutzung reduzieren und auf ein‑malige Antworten beschränken. Durch die Stabilisierung des Trainings bleibt die Agenteninteraktion erhalten und die Vorteile agentischer Verhaltensweisen werden voll ausgeschöpft.

Der Schlüssel liegt in einer Kombination aus Oversampling‑Filtering‑Ranking‑Rollout‑Strategie und einem kumulativen Tool‑Reward. Diese Technik verhindert, dass das Modell die Tool‑Nutzung einstellt, und fördert stattdessen mehrfache Tool‑Anwendungen in einer Sitzung.

Mit dem einheitlichen Trainings‑Pipeline wurden PyVision‑Image und PyVision‑Video entwickelt. Für die Video‑Verarbeitung nutzt PyVision‑Video eine On‑Demand‑Context‑Construction‑Methode, bei der nur die für die Aufgabe relevanten Frames ausgewählt werden. Dadurch wird die Anzahl der visuellen Tokens drastisch reduziert, ohne die Leistungsfähigkeit zu beeinträchtigen.

Experimentelle Ergebnisse zeigen, dass PyVision‑RL sowohl die Leistung als auch die Effizienz deutlich verbessert. Die Kombination aus anhaltender Interaktion und bedarfsorientierter visueller Verarbeitung erweist sich als entscheidend für skalierbare multimodale Agenten.