LLMs lernen besser zu denken: MARO nutzt soziale Interaktion

In der heutigen Welt stehen Menschen täglich vor Situationen, die tiefes Urteilsvermögen und logisches Denken erfordern. Traditionelle Trainingsmethoden für große Sprachmodelle (LLMs) beschränken sich jedoch meist auf das Lesen von Texten oder das Lösen vorgegebener Aufgaben. Dadurch fehlt den Modellen die Möglichkeit, in realen Szenarien zu interagieren, zu verhandeln und mit anderen zu konkurrieren.

Die neue Methode Multi-Agent Reward Optimization (MARO) ändert das Spiel. Sie ermöglicht es LLMs, ihre Denkfähigkeiten in multiagentenbasierten sozialen Umgebungen zu trainieren. MARO löst zunächst das Problem der spärlichen Lernsignale, indem es den Enderfolg oder Misserfolg in einzelne Verhaltensschritte zerlegt. Anschließend wird die ungleiche Rollenverteilung ausgeglichen, indem die Trainingsgewichte für verschiedene Rollen angepasst werden. Schließlich bewertet die Methode die Nutzenfunktion jedes Verhaltens direkt, um Instabilitäten in der Umgebung zu kompensieren.

Experimentelle Ergebnisse zeigen, dass MARO die sozialen Denkfähigkeiten der Modelle deutlich verbessert. Noch bemerkenswerter ist, dass die über soziale Simulation erlernten Kompetenzen erfolgreich auf andere Aufgaben wie mathematisches Denken und Befolgen von Anweisungen übertragen werden können. Diese Befunde unterstreichen das enorme Potenzial von multiagentenbasiertem Lernen, die generelle Vernunftfähigkeit von LLMs nachhaltig zu steigern.