Suche nach Benchmarking

MMAI Gym: Mit Liquid Foundation Models die Wirkstoffforschung revolutionieren

Ein neues arXiv‑Paper präsentiert das MMAI Gym for Science, ein umfassendes Toolkit, das große Sprachmodelle gezielt auf die Sprache der Mo…

arXiv – cs.LG 05.03.2026 05:00

Forschung

LiveAgentBench: 104 reale Aufgaben testen KI-Agenten

Mit dem neuen Benchmark LiveAgentBench werden KI-Agenten unter realen Bedingungen geprüft. Die Plattform umfasst 104 Szenarien, die aus öff…

arXiv – cs.AI 04.03.2026 05:00

Forschung

CUDABench: Neuer Benchmark für LLMs bei Text-zu-CUDA-Generierung

In einer wegweisenden Veröffentlichung präsentiert das Forschungsteam CUDABench, einen umfassenden Benchmark, der die Fähigkeit von Large L…

arXiv – cs.LG 04.03.2026 05:00

Forschung

NeuroCognition‑Benchmark enthüllt Schwächen großer Sprachmodelle

Eine neue Studie aus dem arXiv hat ein neuartiges Benchmarking‑Tool vorgestellt, das die kognitiven Fähigkeiten von großen Sprachmodellen (…

arXiv – cs.AI 04.03.2026 05:00

Forschung

EmCoop: Rahmenwerk und Benchmark für kooperative LLM-Agenten in realen Umgebungen

In einer Welt, in der komplexe Aufgaben immer häufiger mehrere physische Agenten erfordern, hat das neue EmCoop-Framework einen wichtigen S…

arXiv – cs.AI 03.03.2026 05:00

Forschung

Neues Benchmark FEWTRANS setzt neue Maßstäbe für Few-Shot-Transferlernen

Die Forschung im Bereich Few‑Shot‑Transferlernen erhält einen entscheidenden Impuls: Das neue Benchmark‑Set FEWTRANS, vorgestellt auf arXiv…

arXiv – cs.LG 03.03.2026 05:00

Forschung

DARE-bench: LLMs in Data‑Science bewerten – Anweisungsgenauigkeit & Modellierung

Die wachsende Nachfrage nach leistungsfähigen Large Language Models (LLMs) für komplexe, mehrstufige Data‑Science-Aufgaben hat ein neues Be…

arXiv – cs.AI 02.03.2026 05:00

Forschung

CoPeP: Benchmark für kontinuierliches Vortraining von Protein‑Sprachmodellen

Protein‑Sprachmodelle (pLMs) haben die Forschung im Bereich der Wirkstoffentwicklung neu definiert, indem sie aus großen, ständig aktualisi…

arXiv – cs.LG 03.03.2026 05:00

Forschung

Neues Benchmark-Dataset für End-to-End autonomes Fahren: 2,85 Mio. Frames

Die Erstellung eines hochwertigen Datensatzes ist entscheidend für die Weiterentwicklung autonomer Fahrsysteme. Ein Mangel an sorgfältiger…

arXiv – cs.AI 02.03.2026 05:00

Forschung

SPM-Bench: Neuer LLM-Benchmark für Scanning Probe Microscopy

Mit dem neuen SPM‑Bench wird die Leistungsfähigkeit von Large Language Models (LLMs) im Bereich der Scanning Probe Microscopy (SPM) auf ein…

arXiv – cs.AI 27.02.2026 05:00

Forschung

Neues Benchmark für Allzweck-Agenten: Erste Open General Agent Leaderboard

Forscher haben ein neues Benchmarking-Framework vorgestellt, das die Leistungsfähigkeit von Allzweck-Agenten systematisch bewertet. Ziel is…

arXiv – cs.AI 27.02.2026 05:00

Forschung

ConstraintBench: LLMs testen direkte Optimierung – Ergebnis: 65 % Konformität

In der Welt der großen Sprachmodelle (LLMs) gewinnt die direkte Lösung von Optimierungsproblemen ohne Hilfsmittel eines Solver-Programms zu…

arXiv – cs.AI 27.02.2026 05:00

Forschung

FlexMS: Flexibles Benchmark-Framework für Deep‑Learning‑Massenspektrometrie

Ein neuer Beitrag auf arXiv (2602.22822v1) präsentiert FlexMS, ein flexibles Benchmark‑Framework, das die Bewertung von Deep‑Learning‑Model…

arXiv – cs.AI 27.02.2026 05:00

Forschung

<h1>Benchmark: Kein Modell ist immer das Beste für US-Stromnetz-Vorhersagen</h1> <p>Die Auswahl des passenden Deep‑Learning‑Modells für die Vorhersage von Stromnetzlasten bleibt eine Herausforderung, weil die Leistung stark von den verfügbaren Daten abhängt. In einer neuen Studie wurden fünf moderne Architekturen systematisch miteinander verglichen.</p> <p>Zu den getesteten Modellen gehören zwei State‑Space‑Modelle (PowerMamba und S‑Mamba), zwei Transformer‑Varianten (iTransformer und PatchTST) sowie ein kl

arXiv – cs.LG 26.02.2026 05:00

Forschung

LogicGraph: Benchmark für Mehrweg‑logisches Denken mit neuro‑symbolischer Analyse

In der Welt der großen Sprachmodelle (LLMs) liegt der Fokus bislang vor allem auf konvergenter Logik: Modelle sollen einen einzigen, korrek…

arXiv – cs.AI 25.02.2026 05:00

Forschung

GNN-Modelle für Molekülregression: Benchmarking und CKA-Analyse

Eine neue Studie aus dem Bereich der rechnergestützten Chemie hat die Leistungsfähigkeit von Graphen-Neuronalen Netzen (GNN) bei der Vorher…

arXiv – cs.LG 25.02.2026 05:00

Forschung

<p>MARL-Algorithmen für städtische Energiesysteme: CityLearn Benchmark</p> <p>Die Optimierung urbaner Energiesysteme ist entscheidend für die Entwicklung nachhaltiger und widerstandsfähiger Smart Cities. Mit zunehmender Komplexität und vielen Entscheidungseinheiten wird die Skalierbarkeit und Koordination immer wichtiger. Multi‑Agent Reinforcement Learning (MARL) bietet hier eine vielversprechende Lösung.</p> <p>In der vorliegenden Studie wird ein umfassendes Benchmarking von MARL‑Algorithmen auf dem CityLe

arXiv – cs.AI 24.02.2026 05:00

Forschung

RFEval: Benchmark zur Messung der Glaubwürdigkeit von KI-Argumenten

Neues Forschungswerkzeug namens RFEval prüft, ob die Argumente großer KI-Modelle wirklich ihre Entscheidungen erklären oder nur überzeugend…

arXiv – cs.AI 20.02.2026 05:00

Forschung

LLM-WikiRace: Benchmark für Langzeitplanung und Weltwissen in KI

Mit dem neuen Benchmark LLM-WikiRace wird die Fähigkeit großer Sprachmodelle (LLMs) getestet, komplexe Planungsaufgaben zu lösen und dabei…

arXiv – cs.AI 20.02.2026 05:00

Forschung

LiveClin: Echtzeit‑Benchmark für medizinische KI ohne Datenleckage

Die Zuverlässigkeit von medizinischen Sprachmodellen wird durch Datenlecks und veraltetes Wissen stark beeinträchtigt. LiveClin reagiert da…

arXiv – cs.LG 20.02.2026 05:00

Forschung

AgentLAB: Benchmark für LLM-Agenten gegen langzeitige Angriffe

Mit der zunehmenden Verbreitung von LLM‑Agenten in komplexen, langfristigen Umgebungen entstehen neue Sicherheitsrisiken. Angriffe, die meh…

arXiv – cs.AI 20.02.2026 05:00

Forschung

Neue Methode: Proxy-State-Bewertung für skalierbare, überprüfbare LLM-Agenten

In der Praxis kommen interaktive Sprachmodelle immer häufiger als Agenten zum Einsatz, die über mehrfache Dialogschritte hinweg komplexe We…

arXiv – cs.AI 19.02.2026 05:00

Forschung

AI-CARE: Neue Metrik für CO₂‑freundliches ML-Benchmarking

Mit dem rasanten Wachstum des maschinellen Lernens wird der ökologische Fußabdruck von Trainings- und Inferenzprozessen immer wichtiger. Tr…

arXiv – cs.LG 19.02.2026 05:00

Forschung

Neue unbekannte Nutzerpersönlichkeiten für realistische Dialogsimulation entdeckt

Eine kürzlich veröffentlichte Arbeit auf arXiv beleuchtet ein zentrales Problem in der Simulation von Benutzern: Oft fehlen die relevanten…

arXiv – cs.AI 19.02.2026 05:00

Forschung

Neues Benchmark für IoT-Anomalieerkennung: Event-Level-Tests mit realistischen Störungen

Ein neues Benchmark-Protokoll für die Anomalieerkennung in IoT-Zeitreihen wurde vorgestellt, das die Bewertung auf Ereignisebene statt auf…

arXiv – cs.LG 18.02.2026 05:00

Forschung

ExLipBaB: Lipschitz-Konstante für Stückweise lineare neuronale Netze berechnen

Die Lipschitz-Konstante eines neuronalen Netzwerks liefert wertvolle Einblicke in dessen Robustheit, Generalisierbarkeit und sogar die Mögl…

arXiv – cs.LG 18.02.2026 05:00

Forschung

MoralityGym: Benchmark für hierarchische moralische Entscheidungsfindung von KI-Agenten

In einem wegweisenden Beitrag zur KI‑Sicherheit präsentiert ein neues Forschungsprojekt ein umfassendes Benchmarking-Tool, das die moralisc…

arXiv – cs.AI 17.02.2026 05:00

Forschung

GT-HarmBench: KI‑Sicherheitsrisiken im Mehragenten‑Kontext neu bewertet

In einer Zeit, in der KI‑Systeme immer leistungsfähiger werden und in komplexen Mehragenten‑Umgebungen eingesetzt werden, fehlt bislang ein…

arXiv – cs.AI 16.02.2026 05:00

Forschung

DECKBench: Neuer Benchmark für Multi-Agenten bei akademischen Folien

Die automatische Erstellung und iterative Bearbeitung von akademischen Präsentationen erfordert weit mehr als reine Textzusammenfassung. Er…

arXiv – cs.AI 17.02.2026 05:00

Forschung

Neues theoretisches Modell für adaptive, nutzerzentrierte Benchmarking-Methoden

Benchmarking ist seit langem ein zentrales Instrument im maschinellen Lernen und gewinnt zunehmend an Bedeutung für moderne KI-Systeme wie…

arXiv – cs.AI 16.02.2026 05:00

Finde Modelle, Firmen und Themen

MMAI Gym: Mit Liquid Foundation Models die Wirkstoffforschung revolutionieren

LiveAgentBench: 104 reale Aufgaben testen KI-Agenten

CUDABench: Neuer Benchmark für LLMs bei Text-zu-CUDA-Generierung

NeuroCognition‑Benchmark enthüllt Schwächen großer Sprachmodelle

EmCoop: Rahmenwerk und Benchmark für kooperative LLM-Agenten in realen Umgebungen

Neues Benchmark FEWTRANS setzt neue Maßstäbe für Few-Shot-Transferlernen

DARE-bench: LLMs in Data‑Science bewerten – Anweisungsgenauigkeit & Modellierung

CoPeP: Benchmark für kontinuierliches Vortraining von Protein‑Sprachmodellen

Neues Benchmark-Dataset für End-to-End autonomes Fahren: 2,85 Mio. Frames

SPM-Bench: Neuer LLM-Benchmark für Scanning Probe Microscopy

Neues Benchmark für Allzweck-Agenten: Erste Open General Agent Leaderboard

ConstraintBench: LLMs testen direkte Optimierung – Ergebnis: 65 % Konformität

FlexMS: Flexibles Benchmark-Framework für Deep‑Learning‑Massenspektrometrie

LogicGraph: Benchmark für Mehrweg‑logisches Denken mit neuro‑symbolischer Analyse

GNN-Modelle für Molekülregression: Benchmarking und CKA-Analyse

RFEval: Benchmark zur Messung der Glaubwürdigkeit von KI-Argumenten

LLM-WikiRace: Benchmark für Langzeitplanung und Weltwissen in KI

LiveClin: Echtzeit‑Benchmark für medizinische KI ohne Datenleckage

AgentLAB: Benchmark für LLM-Agenten gegen langzeitige Angriffe

Neue Methode: Proxy-State-Bewertung für skalierbare, überprüfbare LLM-Agenten

AI-CARE: Neue Metrik für CO₂‑freundliches ML-Benchmarking

Neue unbekannte Nutzerpersönlichkeiten für realistische Dialogsimulation entdeckt

Neues Benchmark für IoT-Anomalieerkennung: Event-Level-Tests mit realistischen Störungen

ExLipBaB: Lipschitz-Konstante für Stückweise lineare neuronale Netze berechnen

MoralityGym: Benchmark für hierarchische moralische Entscheidungsfindung von KI-Agenten

GT-HarmBench: KI‑Sicherheitsrisiken im Mehragenten‑Kontext neu bewertet

DECKBench: Neuer Benchmark für Multi-Agenten bei akademischen Folien

Neues theoretisches Modell für adaptive, nutzerzentrierte Benchmarking-Methoden

🍪 Cookie-Einstellungen

ConstraintBench: LLMs testen direkte Optimierung – Ergebnis: 65 % Konformität