Murphy: Mehrschrittige Optimierung für selbstkorrigierende Codegenerierung

Ein neues Verfahren namens Murphy erweitert die bereits erfolgreiche Group Relative Policy Optimization (GRPO) um einen mehrschrittigen, reflektierenden Optimierungsprozess. Durch die Kombination von quantitativen und qualitativen Rückmeldungen aus der Ausführung lernt das Modell, seine eigenen Entscheidungen in mehreren Runden zu überdenken und zu verbessern.

Murphy nutzt das Konzept der Reinforcement Learning with Verifiable Rewards (RLVR), um die Denkfähigkeiten großer Sprachmodelle gezielt zu stärken. Während herkömmliche Ansätze bei Aufgaben mit iterativem Entscheidungsbedarf oft an ihre Grenzen stoßen, ermöglicht Murphy eine kontinuierliche Selbstkorrektur während des Trainings.

In Tests mit Codegenerierungs-Benchmarks, die Modelle wie Qwen und OLMo einsetzen, erzielt Murphy einen signifikanten Leistungszuwachs. Im Vergleich zu GRPO wird ein relativer Gewinn von bis zu 8 % bei der Pass@1-Metrik erreicht – und das bei vergleichbarem Rechenaufwand.