Inclusion Arena: Leistungsbewertung von KI-Modellen in realen Anwendungen

Die neuesten großen Sprachmodelle (LLMs) und multimodalen Sprachmodelle (MLLMs) haben die KI-Landschaft revolutioniert und zeigen nahezu menschenähnliche Leistungen in einer Vielzahl von Szenarien. Trotz zahlreicher Benchmarks wie MMLU oder Leaderboards wie Chatbot Arena beruhen die meisten Bewertungen jedoch auf statischen Datensätzen oder allgemein gehaltenen, crowdsourced Prompts, die die tatsächliche Performance in realen Anwendungen oft nicht widerspiegeln.

Um diese Lücke zu schließen, wurde die Inclusion Arena vorgestellt – ein Live-Leaderboard, das Modelle anhand von menschlichem Feedback bewertet, das direkt aus KI‑gestützten Anwendungen stammt. Durch die Einbindung von paarweisen Modellvergleichen in natürliche Nutzerinteraktionen stellt die Plattform sicher, dass die Bewertungen praxisnah und relevant bleiben.

Für die robuste Rangordnung nutzt die Inclusion Arena ein Bradley‑Terry‑Modell, das um zwei wesentliche Innovationen erweitert wurde: Erstens „Placement Matches“, ein Kaltstart-Mechanismus, der neue Modelle schnell einschätzt, und zweitens „Proximity Sampling“, eine intelligente Vergleichsstrategie, die Kämpfe zwischen Modellen ähnlicher Leistungsstufe priorisiert, um die Informationsgewinnung zu maximieren und die Stabilität der Bewertungen zu erhöhen.

Umfangreiche empirische Analysen und Simulationen zeigen, dass die Inclusion Arena zuverlässige und stabile Rankings liefert, eine höhere Daten‑Transitivität aufweist als allgemeine crowdsourced Datensätze und das Risiko von Manipulationen deutlich reduziert.

Durch die Förderung einer offenen Allianz zwischen Basismodellen und realen Anwendungen strebt die Inclusion Arena an, die Entwicklung von KI-Systemen zu beschleunigen und gleichzeitig die Transparenz und Fairness der Modellbewertung zu erhöhen.