DEVAL: Framework zur Messung und Verbesserung der Ableitungsfähigkeit von LLMs

Die Autoren stellen DEVAL vor, ein systematisches Evaluationsframework, das die Fähigkeit von großen Sprachmodellen (LLMs) misst, logische Ableitungen aus Eingabedaten zu ziehen.

Durch die Definition der Derivation Relation (DR) und der Derivation Capability (DC) wird ein klarer Rahmen geschaffen, um zu prüfen, ob ein Modell die notwendigen Änderungen im Output vornimmt, wenn sich die Eingabe verändert.

In einer umfangreichen Studie wurden fünf populäre LLMs – darunter GPT‑4o und Claude 3.5 – sowie ein Large Reasoning Model in sieben Kernaufgaben getestet. Die Ergebnisse zeigen, dass die Modelle DR zwar erkennen, aber bei der praktischen Anwendung in Problemlösungen deutlich schwächer sind.

Um die Lücken zu schließen, entwickelt das Team die Derivation Prompting (DP)-Methode, die die DC um durchschnittlich 15,2 % steigert und damit bestehende Prompt‑Engineering‑Ansätze übertrifft.