WST: Schwache Modelle trainieren starke Modelle – RL-basierte Prompt-Optimierung

WST (Weak-to-Strong Transfer) ist ein neues, automatisiertes Prompt‑Engineering‑Framework, das auf Reinforcement Learning basiert. Es nutzt ein kleines „Teacher“-Modell, um Anweisungen zu generieren, die die Leistung eines deutlich größeren „Student“-Modells verbessern.

Im Gegensatz zu bisherigen Ansätzen benötigt WST lediglich ein schwaches Teacher-Modell. Dadurch ist die Methode besonders effizient und lässt sich in Umgebungen einsetzen, in denen große Modelle proprietär sind oder schwer zu feinabstimmen sind. Durch wiederholte Iterationen, bei denen die Anweisungen des Teachers anhand der Ergebnisse des Students optimiert werden, entsteht ein kontinuierlicher Lernzyklus.

Die Ergebnisse sind beeindruckend: Auf dem Rechenaufgaben‑Benchmark MATH‑500 erreicht WST 98 % der besten Ergebnisse, während es auf dem Alignment‑Test HH‑RLHF sogar 134 % der führenden Werte erzielt. Damit übertrifft die Methode etablierte Baselines wie GPT‑4o‑mini und Llama‑70B.

Diese Erfolge zeigen, dass kleine Modelle zuverlässig größere Modelle unterstützen können, indem sie deren latente Fähigkeiten freisetzen und gleichzeitig das Risiko von irreführenden Prompt‑Vorschlägen reduzieren. WST bietet damit eine skalierbare, effiziente und sichere Lösung für die Optimierung von LLM‑Prompts.