KI-Agenten lernen: Personalisierung durch Live-Feedback

Moderne KI-Agenten sind leistungsfähig, doch sie passen sich selten den individuellen, sich wandelnden Vorlieben der Nutzer an. Traditionelle Ansätze nutzen statische Datensätze, um Präferenzmodelle zu trainieren oder Nutzerprofile in externen Speichern abzubilden. Diese Methoden stoßen bei neuen Nutzern oder bei sich ändernden Präferenzen an ihre Grenzen.

Die neue Methode „Personalized Agents from Human Feedback“ (PAHF) bietet einen kontinuierlichen Lernprozess, bei dem Agenten online aus Live-Interaktionen lernen und dabei explizite, nutzerbezogene Erinnerungen nutzen. PAHF arbeitet in einem dreistufigen Zyklus: Erst wird vor jeder Aktion nach Klarstellungen gefragt, um Unklarheiten zu beseitigen. Anschließend werden Aktionen anhand der aus dem Speicher abgerufenen Präferenzen ausgeführt, und schließlich fließt das Feedback nach der Aktion zurück, um die Erinnerung bei Bedarf zu aktualisieren.

Um die Wirksamkeit zu prüfen, wurden ein vierstufiges Evaluationsprotokoll sowie zwei Benchmarks in den Bereichen körperliche Manipulation und Online-Shopping entwickelt. Diese Tests messen, wie schnell ein Agent von Grund auf Präferenzen erlernt und anschließend auf Veränderungen im Nutzerprofil reagiert. Die theoretische Analyse und die experimentellen Ergebnisse zeigen, dass die Kombination aus explizitem Speicher und dualen Feedbackkanälen entscheidend ist: PAHF reduziert die anfängliche Personalisierungsfehler deutlich und passt sich schneller an neue Präferenzen an als Modelle ohne Speicher oder mit nur einem Feedbackkanal.