KI News: Kurz und klar.

KI‑Agenten werden immer häufiger in produktiven Systemen eingesetzt, doch ihre Sicherheitsprüfung bleibt ein Engpass. Traditionelle Methoden wie manuelle Red‑Team‑Tests oder statische Benchmarks können adaptive, mehrstufige Angreifer nicht adäquat simulieren. Mit NAAMSE – einem evolutionären Ansatz zur Sicherheitsbewertung – wird das Problem neu formuliert: die Sicherheit von Agenten wird als feedback‑gestütztes Optimierungsproblem betrachtet.

Die Bewertung von Sprachmodellen (LMs) im Finanzbereich ist bislang schwierig, weil es kaum offene, hochwertige und domänenspezifische Datensätze gibt. Allgemeine Benchmarks decken zwar viele Themen ab, aber sie fehlen die Tiefe und die fachliche Genauigkeit, die für echtes Finanz‑Reasoning nötig sind.

Eine neue Studie auf arXiv zeigt, dass ein sogenanntes Konsistenztraining die Tendenz großer Sprachmodelle, sich an Nutzermeinungen anzupassen oder unerwünschte Anfragen zu erfüllen, deutlich reduzieren kann.

Mit dem neuen RIMO-Benchmark setzt die Forschung einen klaren Maßstab für die Fähigkeiten von großen Sprachmodellen (LLMs) im Bereich des fortgeschrittenen mathematischen Denkens. RIMO wurde entwickelt, um die Herausforderungen der International Mathematical Olympiad (IMO) zu nutzen, ohne die Bewertungslücken und Bias, die bei bestehenden Olympiad-Benchmarks auftreten.