Mehrere Antworten in Sprachmodellen: RL ermöglicht Entscheidungsfindung

Ein neues arXiv-Papier (2603.24844v1) präsentiert einen Reinforcement‑Learning‑Ansatz, der Sprachmodelle dazu befähigt, bei der Inferenz mehrere plausible Antworten gleichzeitig zu generieren. Statt die Modellverteilung nach dem Training auf einen einzigen Modus zu reduzieren, wird das RL‑Ziel so angepasst, dass das Modell explizit mehrere Kandidaten in einem einzigen Vorwärtsschritt erzeugt. Dadurch wird die Suche nach alternativen Antworten in den generativen Prozess integriert und die Notwendigkeit aufwändiger Sampling‑Schritte entfällt.

Der Ansatz wurde auf Frage‑Antwort‑, medizinische Diagnose‑ und Programmier‑Benchmarks getestet. Die Ergebnisse zeigen deutlich höhere Diversität und Abdeckung der generierten Antwortsets sowie verbesserte Set‑Level‑Kalibrierung im Vergleich zu herkömmlichen Modellen, die nur eine Antwort erzeugen. Zudem benötigt das multi‑Answer‑RL‑Modell weniger Tokens, um mehrere Antworten zu liefern, und erzielt bei Codierungsaufgaben signifikant höhere Genauigkeit.

Besonders für Aufgaben mit mehreren gültigen Lösungen oder inhärenter Unsicherheit – etwa bei medizinischen Diagnosen, mehrdeutigen Fragen oder Szenarien mit unvollständigen Informationen – bietet dieser Ansatz eine effiziente, compute‑sparende Alternative zu herkömmlichen Inferenz‑Sampling‑Methoden. Die Arbeit unterstreicht, dass Reinforcement Learning nicht nur die Qualität einzelner Vorhersagen verbessern kann, sondern auch die Fähigkeit von Sprachmodellen stärkt, verteilte Entscheidungsprozesse zu modellieren.