Neues Benchmark für lernende Agenten: In-Context-Erfahrung in Produktempfehlungen
Ein neues Benchmarking-Set namens BELA (Benchmark for Experiential Learning and Active exploration) wurde auf arXiv veröffentlicht, um die Fähigkeit von KI-Agenten zu testen, aus Erfahrungen zu lernen und sich an wechselnde Kundenpräferenzen anzupassen. Das Set kombiniert reale Amazon-Produkte, vielfältige Nutzerprofile und einen großen Sprachmodell-Simulator, der realistische Dialoge erzeugt.
Die Autoren zeigen, dass aktuelle Spitzenmodelle kaum Fortschritte über mehrere Episoden hinweg erzielen, was die Notwendigkeit von Agenten mit starkem In-Context-Lernvermögen unterstreicht. BELA bietet damit eine neue, praxisnahe Messgröße für die Entwicklung von lernenden Empfehlungssystemen.