ComputerRL: KI-Agenten meistern Desktop‑Aufgaben mit skalierbarem RL

Ein neues Forschungsprojekt namens ComputerRL präsentiert einen Rahmen für autonome Desktop‑Intelligenz, der es KI‑Agenten ermöglicht, komplexe digitale Arbeitsbereiche geschickt zu steuern. Der Ansatz kombiniert programmatische API‑Aufrufe mit direkter GUI‑Interaktion – ein sogenanntes API‑GUI‑Paradigma – um die Lücke zwischen maschinellen Agenten und menschlich gestalteten Desktop‑Umgebungen zu schließen.

Die Skalierung von End‑to‑End‑Reinforcement‑Learning (RL) ist entscheidend, um die Leistung und die Generalisierung über verschiedene Desktop‑Aufgaben hinweg zu verbessern. Gleichzeitig stellen ineffiziente Umgebungen und Instabilitäten bei langen Trainingsläufen große Hindernisse dar. ComputerRL adressiert diese Probleme, indem es eine verteilte RL‑Infrastruktur entwickelt, die tausende paralleler virtueller Desktop‑Umgebungen orchestriert und so die Online‑RL‑Trainingseffizienz erheblich steigert.

Ein weiteres Highlight ist die Entropulse‑Strategie, die RL‑Training mit überwachtem Feintuning abwechselnd durchführt. Diese Methode verhindert den häufig auftretenden Entropie‑Zusammenbruch bei ausgedehnten Trainingsläufen und sorgt für stabilere Lernfortschritte.

Die Plattform wurde mit den offenen Modellen GLM‑4‑9B‑0414 und Qwen2.5‑14B getestet und anhand des OSWorld‑Benchmarks bewertet. Das AutoGLM‑OS‑9B‑Modell, basierend auf GLM‑4‑9B‑0414, erreichte einen neuen Bestwert von 48,1 % Genauigkeit und demonstriert damit signifikante Fortschritte für generelle Desktop‑Automatisierungsagenten.

ComputerRL und die damit verbundenen Algorithmen wurden bereits in der Entwicklung von AutoGLM (Liu et al., 2024a) eingesetzt, was die praktische Relevanz und die Leistungsfähigkeit des Ansatzes unterstreicht.