Mehrere Agenten übertreffen Einzelagenten bei Videoanalyse im Lernkontext

In einer neuen Studie wird gezeigt, wie moderne Vision‑Language‑Modelle (VLMs) die Analyse von Bildschirm‑Videos im kollaborativen Lernen revolutionieren können. Durch den Einsatz von VLMs lassen sich bislang manuell aufwendige Codierungen von Lernverhalten automatisieren und damit wertvolle Einblicke in die kognitiven und kooperativen Prozesse der Lernenden gewinnen.

Die Forscher haben die Leistung von zwei führenden, geschlossenen VLMs – Claude‑3.7‑Sonnet und GPT‑4.1 – sowie eines Open‑Source‑Modells, Qwen2.5‑VL‑72B, in Einzel‑ und Multi‑Agent‑Konfigurationen verglichen. Dabei wurden zwei innovative Multi‑Agent‑Frameworks entwickelt: ein workflow‑basiertes System, das Bildschirmvideos in Szenen unterteilt und auf Basis von Cursor‑Hinweisen VLM‑Prompting mit evidenzbasierter Verifikation kombiniert, sowie ein autonomes Entscheidungs‑System, das von ReAct inspiriert ist und iterativ Denken, Tool‑Operationen und selbstkorrigierende Beobachtungen nutzt.

Die Ergebnisse sind überzeugend: Beide Multi‑Agent‑Ansätze übertrafen die einzelnen VLMs bei der Erkennung von Szenen und Aktionen. Das workflow‑basierte System erzielte die höchste Genauigkeit bei der Szenenerkennung, während das autonome Entscheidungs‑System die beste Leistung bei der Aktionsklassifizierung lieferte. Diese Befunde unterstreichen das enorme Potenzial von Multi‑Agent‑Systemen für die automatisierte Codierung von Bildschirmaufnahmen in kollaborativen Lernumgebungen und zeigen, dass KI‑gestützte Analysewerkzeuge bereits heute einen bedeutenden Mehrwert für die Bildungsforschung bieten können.