GOPO: Strategie für Aufgabenorientierte Dialoge steigert Kundensupport um 10 %

Große Sprachmodelle haben das Potenzial, Kundensupportsysteme zu revolutionieren, doch bisherige Trainingsmethoden – die sich auf tokenbasierte Likelihoods oder einfache Präferenzoptimierung stützen – passen nicht optimal zu Aufgaben mit langen Zeithorizonten. Das neue Verfahren Goal‑Oriented Preference Optimization (GOPO) löst dieses Problem, indem es die Planung der Gesprächsstrategie von der eigentlichen Antwortgenerierung trennt.

GOPO nutzt ein hierarchisches Reinforcement‑Learning‑Framework, das aus zwei Agenten besteht. Der Expert Agent optimiert die Präferenzen für mehrtägige Ziele auf der Ebene der gesamten Dialogtrajektorie, während der Customer Service Agent ausschließlich Antworten erzeugt, die exakt auf die vom Expert Agent ausgewählte Strategie abgestimmt sind. Diese Trennung ermöglicht eine gezielte Steuerung der Gesprächsführung und verhindert, dass kurzfristige Optimierungen die langfristige Zielerreichung beeinträchtigen.

Die Wirksamkeit von GOPO wurde an öffentlichen Benchmarks sowie an E‑Commerce‑Kundendienstdatensätzen getestet. Dabei wurde die neue Metrik Task‑Focused Sequential Engagement (TSE) eingeführt, die die Qualität von Dialogen auf Sequenzebene misst. Auf dem Mgshop‑Datensatz erzielte GOPO eine Steigerung von 7,7 % gegenüber PPO und 10,3 % gegenüber Memento. Ein 14‑Billionen‑Parameter‑Modell, das mit GOPO trainiert wurde, übertraf Qwen‑235B um 2,7 % und GPT‑5.2 um 1,5 % in Bezug auf TSE. Diese Ergebnisse zeigen, dass GOPO nicht nur bei kleineren Modellen, sondern auch bei sehr großen Sprachmodellen signifikante Verbesserungen liefert.

Durch Ablationsstudien wurde klar, dass der Expert Agent eine entscheidende Rolle bei der Optimierung von Langzeitaufgaben spielt. Ohne diesen Agenten fallen die erzielten Verbesserungen erheblich zurück. Die positiven Effekte von GOPO lassen sich zudem auf weitere Datensätze übertragen, was die Robustheit und Vielseitigkeit des Ansatzes unterstreicht.

GOPO stellt damit ein neues Paradigma für task‑orientierte Dialogsysteme in kommerziellen Anwendungen dar. Der Ansatz kombiniert strategische Planung mit präziser Antwortgenerierung und liefert messbare Fortschritte in der Kundenzufriedenheit. Der zugehörige Code sowie die Datensätze werden öffentlich zugänglich gemacht, um die Forschung und Entwicklung in diesem Bereich weiter voranzutreiben.