UpBench: Dynamisches Labor-Markt-Benchmark für KI-Agenten aus realen Upwork-Jobs

Mit UpBench erhält die Forschung ein neues, dynamisches Werkzeug, um die Leistungsfähigkeit von KI-Agenten in echten Arbeitsumgebungen zu messen. Das System nutzt echte Aufträge aus dem globalen Upwork-Markt, sodass jede Aufgabe auf einer verifizierten Kunden-Transaktion basiert und damit reale Arbeitsbedingungen sowie finanzielle Ergebnisse widerspiegelt.

Der Bewertungsrahmen von UpBench ist rubric‑basiert: erfahrene Freelancer zerlegen jede Aufgabe in detaillierte, überprüfbare Akzeptanzkriterien und geben gezieltes Feedback zu den KI-Einsendungen. Diese Vorgehensweise ermöglicht eine feingranulare Analyse der Stärken und Schwächen der Modelle, weit über die üblichen Pass/Fail-Metriken hinaus.

Human Expertise ist in jeder Phase des Datenflusses eingebunden – von der Auswahl der Jobs über die Erstellung der Rubriken bis hin zur Bewertung. Dadurch bleibt die Bewertung stets an den realen professionellen Standards ausgerichtet und fördert gleichzeitig die Forschung zu Mensch‑KI‑Kooperationen.

Durch regelmäßige Aktualisierungen der Aufgaben bleibt UpBench stets an die sich wandelnde Landschaft des Online‑Arbeitsmarktes angepasst. Das Ergebnis ist eine skalierbare, menschenzentrierte Plattform, die KI-Systeme in authentischen Arbeitskontexten testet und damit den Weg ebnet, wie KI menschliche Fähigkeiten ergänzen kann, anstatt sie zu ersetzen.