UpSkill steigert LLMs: Treffer bei mehreren Versuchen dank Mutual Information

Die neue Methode UpSkill, entwickelt von Forschern auf arXiv, nutzt Mutual Information Skill Learning (MISL), um die Trefferquote mehrerer Versuche bei großen Sprachmodellen (LLMs) zu erhöhen. Durch die Integration eines token‑basierten Mutual‑Information‑Rewards in die Group Relative Policy Optimization (GRPO) wird die Spezifität der Antworttrajektorien gezielt gefördert.

Im Vergleich zu herkömmlichen Reinforcement‑Learning‑Ansätzen, die sich ausschließlich auf die Genauigkeit eines einzelnen Versuchs konzentrieren, verhindert UpSkill die Unterdrückung von Antwortdiversität. Das führt zu einer breiteren Erkundung möglicher Lösungswege und vermeidet, dass weniger häufige Strategien übersehen werden.

Experimentelle Ergebnisse auf dem GSM8K‑Datensatz zeigen, dass UpSkill bei drei Open‑Weight‑Modellen – Llama 3.1‑8B, Qwen 2.5‑7B und R1‑Distilled‑Qwen2.5‑Math‑1.5B – die Pass‑@k‑Metriken um durchschnittlich etwa 3 % verbessert, ohne die Pass‑@1‑Rate zu beeinträchtigen. Sowohl empirische als auch theoretische Analysen belegen, dass die Steigerung der Pass‑@k‑Ergebnisse eng mit dem Mutual‑Information‑Ziel verknüpft ist.

Mit UpSkill erhalten Entwickler und Forscher ein leistungsfähiges Werkzeug, um die Leistungsfähigkeit von LLMs in mathematischen und programmierbezogenen Aufgaben zu maximieren, während gleichzeitig die Vielfalt der generierten Antworten erhalten bleibt.