Google präsentiert „Nested Learning“: Lösung für Speicher‑ und Lernprobleme von KI

Forscher von Google haben ein neues KI-Paradigma entwickelt, das ein zentrales Problem großer Sprachmodelle adressiert: die Unfähigkeit, nach dem Training weiter zu lernen oder Wissen zu aktualisieren.

Das Konzept, „Nested Learning“ genannt, betrachtet Modell und Training nicht als einen einzigen Prozess, sondern als ein System verschachtelter, mehrstufiger Optimierungsaufgaben. Durch diese Struktur können Lernalgorithmen komplexer und ausdrucksstärker gestaltet werden, was zu besserem in‑Context‑Learning und einer verbesserten Gedächtnisleistung führt.

Um die Idee zu demonstrieren, wurde ein neues Modell namens Hope entwickelt. Erste Experimente zeigen, dass Hope bei Aufgaben des Sprachmodellierens, des kontinuierlichen Lernens und der langen Kontext‑Begründung überlegen ist. Damit eröffnet sich ein Weg zu effizienten KI‑Systemen, die sich an reale Umgebungen anpassen können.

Die Herausforderung, dass große Sprachmodelle ihr Wissen nicht aktualisieren können, entstand trotz der Fortschritte des Deep Learning, das die Notwendigkeit für aufwändige Ingenieursarbeit und Domänenexpertise reduziert hat. Durch das Füttern mit riesigen Datenmengen konnten Modelle eigenständig Repräsentationen lernen, doch Probleme wie Generalisierung, kontinuierliches Lernen und das Vermeiden suboptimaler Lösungen blieben bestehen. Die Entwicklung von Transformers, dem Fundament heutiger LLMs, war ein Schritt, um diese Hürden zu überwinden.