AI-Agenten im Versicherungs-Underwriting: Neuer Benchmark UNDERWRITE

In der rasanten Integration von KI-Agenten in Unternehmensanwendungen wird deutlich, dass herkömmliche Benchmarks die Komplexität echter Geschäftsprozesse nicht abbilden. Der neue Benchmark UNDERWRITE richtet sich gezielt an die Versicherungsbranche und wurde in enger Zusammenarbeit mit Fachleuten entwickelt, um reale Herausforderungen einzufangen.

UNDERWRITE simuliert ein mehrstufiges Underwriting, bei dem Agenten proprietäres Fachwissen nutzen, mit unzuverlässigen Tool‑Schnittstellen interagieren und auf unvollständige, simulierte Nutzerantworten reagieren müssen. Diese Elemente spiegeln die Unsicherheiten und den Informationsbedarf wider, die in echten Unternehmensumgebungen auftreten.

Bei der Bewertung von 13 führenden Modellen zeigte sich ein deutlicher Unterschied zwischen Labor- und Unternehmensleistung: Die höchstpräzisen Modelle waren nicht die effizientesten, sie generierten häufig falsche Fachinformationen trotz Zugriff auf Werkzeuge und ihre Leistung sank um etwa 20 % bei komplexeren Aufgaben.

Die Ergebnisse unterstreichen, dass die Einbindung von Experten bei der Benchmark‑Entwicklung unverzichtbar ist, um realistische Agentenbewertungen zu ermöglichen. Gleichzeitig verdeutlichen sie die Anfälligkeit gängiger Agentenframeworks und betonen die Notwendigkeit von zusammengesetzten Ansätzen zur Erkennung von Halluzinationen in spezialisierten Domänen.

Diese Erkenntnisse liefern wertvolle Leitlinien für die Gestaltung zukünftiger Benchmarks, die besser an die Anforderungen von Unternehmensdeployments angepasst sind und die Entwicklung von KI-Agenten in der Versicherungsbranche vorantreiben.