AgentFuel: Maßgeschneiderte Tests für Zeitreihen‑Analyseagenten

In Bereichen wie IoT, Observability, Telekommunikation und Cybersicherheit setzen immer mehr Unternehmen auf konversationelle Datenanalyseagenten, die es Nutzern ermöglichen, mit ihren Daten zu „sprechen“. Diese Agenten arbeiten mit Zeitreihen‑Modellen, zum Beispiel Messwerten von Sensoren oder Ereignissen aus Produktanalysen.

Die neue Studie bewertet sechs beliebte Analyseagenten – sowohl Open‑Source als auch proprietär – anhand von domänenspezifischen Daten und Abfragearten. Dabei zeigte sich, dass die Agenten bei zustandsabhängigen und incident‑spezifischen Anfragen häufig versagen. Zwei wesentliche Lücken in bestehenden Evaluierungen wurden identifiziert: fehlende, domänenspezifische Datensätze und fehlende, domänenspezifische Abfrageformen.

Um diesen Defiziten entgegenzuwirken, stellt AgentFuel ein Tool vor, das Fachexperten in kurzer Zeit maßgeschneiderte Evaluationssätze erstellen lässt. Damit können End‑zu‑End‑Funktionstests für Zeitreihen‑Analyseagenten durchgeführt werden, die genau die Anforderungen der jeweiligen Domäne abbilden.

Die Benchmarks von AgentFuel zeigen klar, in welchen Bereichen aktuelle Agenten verbessert werden müssen, und liefern Anhaltspunkte für zukünftige Entwicklungen. Erste Erfahrungsberichte deuten darauf hin, dass die Nutzung von AgentFuel die Leistung von Agenten, etwa GEPA, steigern kann. Die vollständigen Benchmarks sind unter https://huggingface.co/datasets/RockfishData/TimeSeriesAgentEvals verfügbar.