CATArena: Neues Benchmark-Tool für lernende LLM-Agenten
Large Language Model (LLM)-Agenten haben sich von einfachen Textgeneratoren zu autonomen Systemen entwickelt, die komplexe Aufgaben durch Interaktion mit externen Tools erledigen können. Aktuelle Messverfahren beschränken sich jedoch meist auf feste Szenarien, wodurch die Bewertung auf bestimmte Fertigkeiten limitiert ist und die Scores schnell an ihre Grenzen stoßen. Gleichzeitig steigt der Bedarf an Expertenannotation, wenn die Agenten immer leistungsfähiger werden.
