Interaktives In-Context-Lernen: Sprachliches Feedback steigert Modellleistung

Ein neues Forschungsframework aus dem Bereich der großen Sprachmodelle zeigt, dass die Fähigkeit, aus sprachlichem Feedback zu lernen, gezielt trainiert werden kann. Anstatt als bloßes Nebenprodukt zu gelten, wird das interaktive Lernen hier als eigenständige, lernbare Kompetenz behandelt.

Die Methode wandelt ein‑Runden-Aufgaben in mehrschichtige, lehrreiche Dialoge um, bei denen das Modell gezielt Informationen asymmetrisch nutzt. Dadurch wird die Notwendigkeit, Fehler zu erkennen und zu korrigieren, in den Lernprozess integriert.

Tests mit führenden Modellen haben ergeben, dass die herkömmlichen Systeme Schwierigkeiten haben, Korrekturen bei komplexen Rechenaufgaben zu berücksichtigen. Durch das neue Training verbessert sich die Fähigkeit, aus Feedback zu lernen, drastisch – ein kleineres Modell erreicht nahezu die Leistung eines viel größeren.

Darüber hinaus demonstriert die Studie eine robuste Generalisierung: Das interaktive Training an Mathematikaufgaben überträgt sich erfolgreich auf Bereiche wie Programmieren, Rätsel und Labyrinthnavigation. Die Ergebnisse deuten darauf hin, dass die gesteigerte „in‑Context‑Plastizität“ die Grundlage für eine einheitliche Selbstverbesserung der Modelle bildet.