GRPO-RM: Feinabstimmung von Repräsentationsmodellen mit Reinforcement Learning
Ein neues arXiv-Papier (2511.15256v1) präsentiert GRPO‑RM, eine Methode, die das erfolgreiche Reinforcement‑Learning‑Verfahren Group Relative Policy Optimization (GRPO) auf Repräsentationsmodelle überträgt. Die Autoren zeigen, dass GRPO bereits bei großen Sprachmodellen wie DeepSeek‑R1 hervorragende Ergebnisse erzielt hat und fragen, ob das Prinzip auch für Modelle zur Repräsentationsbildung geeignet ist.
GRPO‑RM ersetzt die herkömmliche Token‑Sampling‑Strategie von Sprachmodellen durch ein vordefiniertes Ausgabeset. Dieses Set bildet die Grundlage für die Erzeugung von Ausgabengruppen, die für die probabilitätsbasierte Optimierung von GRPO unerlässlich sind. Durch diese Anpassung kann das Verfahren direkt auf nachtrainierte Repräsentationsmodelle angewendet werden.
Ein maßgeschneidertes Belohnungs‑Framework wurde entwickelt, um die spezifischen Eigenschaften von Repräsentationsmodellen zu berücksichtigen. Die Autoren führten umfangreiche Experimente auf verschiedenen realen Datensätzen durch und konnten damit die Wirksamkeit von GRPO‑RM eindeutig belegen.