TAM Bench: Automatisierte ML‑Benchmarks für LLM‑Agenten

Mit dem neuen Benchmark TAM Bench wird die Bewertung von großen Sprachmodellen (LLMs) in End‑to‑End‑Machine‑Learning‑Workflows revolutioniert. Durch die Kombination von Browser‑Automatisierung und LLM‑gestützter Aufgabenakquise werden ML‑Herausforderungen aus Plattformen wie Kaggle, AIcrowd und Biendata automatisch gesammelt und strukturiert. Dabei deckt TAM Bench eine breite Palette von Datenmodalitäten ab – von Tabellen und Texten bis hin zu Bildern, Graphen und Audio.

Ein weiteres Highlight ist das leaderboard‑basierte Schwierigkeitsmodell. Es nutzt die Anzahl der Teilnehmer und die Streuung der erzielten Scores, um die Komplexität jeder Aufgabe objektiv einzuschätzen. So kann die Schwierigkeit skalierbar und nachvollziehbar kalibriert werden, ohne dass manuelle Bewertungen nötig sind.

Der Evaluierungsrahmen von TAM Bench geht über reine Performance hinaus. Er berücksichtigt die Einhaltung von Formatvorgaben, die Beachtung von Einschränkungen und die Fähigkeit der Agenten, Aufgaben zu generalisieren. Auf Basis von 150 sorgfältig kuratierten AutoML‑Aufgaben wurden drei Benchmark‑Sätze – Lite, Medium und Full – entwickelt, die unterschiedliche Testgrößen und Schwierigkeitsstufen abdecken. Die Lite‑Version mit 18 Aufgaben bietet ein ausgewogenes Testfeld für tägliche Benchmarking‑Sessions und vergleichende Studien.