MIT-Studie: RL reduziert katastrophales Vergessen bei Modellen

Eine neue Untersuchung des Massachusetts Institute of Technology (MIT) zeigt, dass Reinforcement Learning (RL) die Gefahr des katastrophalen Vergessens bei großen Sprach- und Bildmodellen deutlich senkt – im Vergleich zu herkömmlichem, überwachten Fine‑Tuning.

Foundation‑Modelle, die in den letzten Jahren enorme Fortschritte in vielen Anwendungsbereichen erzielt haben, bleiben nach ihrer Bereitstellung weitgehend unverändert. Wenn sie anschließend auf neue Aufgaben angepasst werden, kann das Fine‑Tuning dazu führen, dass zuvor erlernte Fähigkeiten verloren gehen – ein Phänomen, das als katastrophales Vergessen bezeichnet wird.

Die MIT‑Studie untersuchte, wie sich das Verhalten von Modellen unterscheidet, wenn sie online mittels RL weiterentwickelt werden. Dabei zeigte sich, dass RL die bereits vorhandenen Kompetenzen weitgehend bewahrt, während überwachte Anpassungen häufig zu einem Verlust dieser Fähigkeiten führen. Diese Erkenntnis legt nahe, dass RL ein vielversprechender Ansatz ist, um langlebige, sich kontinuierlich verbessernde KI‑Agenten zu entwickeln.