OpenAI: Von GPT‑4.1 zu GPT‑5.1 – RLVR, Agenten und Token‑Effizienz

Josh McGrath, der Leiter der Post‑Training‑Strategie bei OpenAI, hat die komplette Entwicklung von der Datenaufbereitung bis zur Auslieferung von GPT‑4o, o1, o3 und dem neuen GPT‑5 Shopping‑Modell miterlebt.

Während der Jahre 2023 wurden die Debatten um PPO (Proximal Policy Optimization) versus DPO (Direct Preference Optimization) die zentrale Diskussion im Bereich der Verstärkungslernen‑Methoden. Heute steht die RLVR‑Ära im Fokus, in der die eigentliche Innovation nicht mehr in neuen Optimierungsalgorithmen liegt, sondern in der Kombination von RLVR mit token‑effizienten und agentenbasierten Ansätzen.

OpenAI hat damit einen Paradigmenwechsel vollzogen: Statt sich ausschließlich auf die Feinabstimmung von Modellen zu konzentrieren, werden nun systemweite Verbesserungen angestrebt, die die Effizienz der Tokenverwendung erhöhen und gleichzeitig die Flexibilität von Agenten erhöhen. Das neue GPT‑5 Shopping‑Modell demonstriert, wie diese Prinzipien in praktischen Anwendungen umgesetzt werden können.

Die Entwicklungen zeigen, dass OpenAI weiterhin an der Spitze der KI‑Forschung steht und die Grenzen des Möglichen durch innovative Kombinationen von Lernmethoden und Systemarchitekturen verschiebt.