Supervised Reinforcement Learning: Google AI zeigt, wie kleine Modelle komplexe Aufgaben meistern

Google Cloud AI Research in Zusammenarbeit mit der UCLA hat ein neues Trainingsframework namens Supervised Reinforcement Learning (SRL) vorgestellt. SRL ermöglicht es kleinen Sprachmodellen – etwa 7 Billionen Parameter groß – komplexe Aufgaben zu erlernen, ohne sich ausschließlich auf reine Nachahmung oder korrekte Rollouts zu verlassen.

Das Verfahren nutzt Schritt-für-Schritt-Expertentranskriptionen, um den Modellen zu zeigen, wie sie schwierige mathematische Probleme und Agentenaufgaben lösen können. Durch die Kombination von überwachten Lernmethoden mit Verstärkungsprinzipien lernt das Modell, eigene Entscheidungen zu treffen und dabei systematisch vorzugehen.

SRL adressiert ein zentrales Problem in der KI-Forschung: Kleine Modelle scheitern häufig an Aufgaben, die sie bislang nicht bewältigen konnten. Mit dem neuen Ansatz können sie nun aus den besten Beispielen lernen und ihre eigenen Problemlösungsfähigkeiten verbessern, was einen bedeutenden Fortschritt für die Entwicklung effizienterer KI-Systeme darstellt.