LLM-Planer: Erfolgreich im eigenen Bereich, aber bei neuen Domänen versagen

Ein neues Paper auf arXiv untersucht die Generalisierung von Large Language Models (LLMs) im Bereich der automatischen Planung. Die Autoren haben ein 1,7‑Billionen‑Parameter‑Modell mit 40.000 Domänen‑Problem‑Plan‑Tripeln aus zehn IPC‑2023‑Domänen feinabgestimmt.

Im In‑Domain‑Test erzielte das Modell beeindruckende 82,9 % gültige Pläne. Auf zwei völlig neuen Domänen kam das Modell jedoch auf 0 % – ein deutlicher Hinweis darauf, dass die Lernleistung stark domänenspezifisch ist.

Um die Ursachen zu analysieren, wurden drei diagnostische Interventionen eingesetzt: Symbol‑Anonymisierung, kompakte Plan‑Serialisierung und Verifier‑Reward‑Fine‑Tuning unter Verwendung des VAL‑Validators als Erfolgssignal.

Die ersten beiden Maßnahmen führten zu starkem Leistungsabfall, obwohl die semantische Integrität der Pläne erhalten blieb. Dies zeigt, dass das Modell sehr empfindlich auf Oberflächenrepräsentationen reagiert.

Das Verifier‑Reward‑Fine‑Tuning erreichte zwar schnell die Leistungs­Sättigung, verbesserte jedoch die Cross‑Domain‑Generalisation nicht. Insgesamt blieb die In‑Domain‑Leistung bei rund 80 %, während die Cross‑Domain‑Leistung stark zurückging.

Die Studie unterstreicht die anhaltende Generalisierungslücke bei LLM‑basierten Planern und liefert gleichzeitig nützliche Diagnosetools, um die Ursachen weiter zu erforschen.