KI News: Kurz und klar.

Reinforcement Learning (RL) hat sich als kraftvolles Werkzeug zur Steigerung der Denkfähigkeit großer Sprachmodelle (LLMs) etabliert. Traditionell setzen die meisten RL‑Ansätze jedoch auf spärliche Ergebnis‑Belohnungen, die korrekte Zwischenschritte in teilweise erfolgreichen Lösungen nicht würdigen. Prozess‑Reward‑Modelle (PRMs) bieten eine fein granularere Schritt‑für‑Schritt‑Überwachung, sind aber häufig verrauscht und schwer zu bewerten. Aus diesem Grund konzentrieren sich aktuelle PRM‑Benchmarks darauf, den ersten falschen Schritt in einem Denkpfad zu erkennen – ein Ziel, das jedoch nicht mit der üblichen RL‑Anwendung übereinstimmt, bei der PRM‑Scores als rohe Belohnungen maximiert werden.

In den letzten Jahren hat die Anwendung von Reinforcement Learning (RL) auf große Sprachmodelle (LLMs) bemerkenswerte Fortschritte erzielt. Dabei wurden Phänomene beobachtet, die in klassischen RL‑Umgebungen selten vorkommen: Ein einzelnes Trainingsbeispiel kann die Leistung eines gesamten Datensatzes erreichen, die Belohnungssignale müssen nicht exakt sein und ausschließlich negative Beispiele können mit oder sogar besser als komplexe belohnungsbasierte Methoden funktionieren.

Prefix‑RFT ist ein einheitliches Machine‑Learning‑Framework, das die Stärken von Supervised Fine‑Tuning (SFT) und Reinforcement Fine‑Tuning (RFT) kombiniert.