Pass@k: Diagnosewerkzeug für RLVR, kein Optimierungsziel

Die Fähigkeit großer Sprachmodelle, komplexe mehrstufige Argumentationen zu lösen, steht im Mittelpunkt aktueller KI-Forschung. Um diese Kompetenz zu messen und zu verbessern, wird die Pass@k-Metrik häufig eingesetzt. Sie gibt an, wie wahrscheinlich es ist, dass mindestens eine korrekte Lösung in k unabhängigen Versuchen gefunden wird.

In der vorliegenden Studie wird die Pass@k-Optimierung mathematisch untersucht. Der Autor leitet den Gradienten ab und zeigt, dass Pass@k im Wesentlichen eine positive Neubewertung des einfacheren Pass@1-Objekts darstellt. Damit wird klar, dass Pass@k keine neue Lernsignalquelle bietet, sondern lediglich die vorhandene Information umgewichtet.

Ein zentrales Ergebnis ist, dass Pass@k in Situationen, in denen Exploration entscheidend ist, ein nahezu verschwindendes Lernsignal liefert. Der sogenannte „Exploration‑Collapse“ tritt auf, wenn die Policy ihre Wahrscheinlichkeitsverteilung zu stark konzentriert und dadurch der Unterschied zwischen Pass@k und Pass@1 schrumpft.

Die Autoren schließen daraus, dass Pass@k zwar ein nützliches Diagnoseinstrument für explorative Lernprozesse ist, aber als direktem Optimierungsziel ungeeignet bleibt. Stattdessen sollten Lernmechanismen entwickelt werden, die gezielt effiziente Exploration fördern, um die Leistungsfähigkeit von Reinforcement‑Learning‑Ansätzen in komplexen Denkaufgaben zu steigern.