Pragmatischer Einfluss von Prompt-Formulierungen auf LLMs messbar gemacht

In einer neuen Studie von Forschern aus dem Bereich der künstlichen Intelligenz wird gezeigt, dass nicht nur die Aufgabe selbst, sondern auch die Art und Weise, wie wir große Sprachmodelle (LLMs) ansprechen, ihr Verhalten stark beeinflusst. Formulierungen wie „Dies ist dringend“ oder „Als dein Vorgesetzter“ können die Prioritäten eines Modells verschieben, ohne die eigentliche Aufgabenstellung zu verändern.

Die Autoren führen den Begriff „pragmatisches Framing“ ein, um diese kontextuellen Hinweise zu beschreiben, die die Interpretation einer Anweisung formen. Bisher wurden solche Hinweise vor allem für Prompt-Optimierung oder als potenzielle Sicherheitslücke untersucht, aber ihr Einfluss wurde bislang nicht systematisch gemessen.

Um das zu ermöglichen, stellen die Forscher ein neues Rahmenwerk vor, das aus drei Komponenten besteht: Erstens eine Trennung von Framing-Kontext und Aufgabenbeschreibung, zweitens eine Taxonomie, die 400 unterschiedliche Framing-Varianten in 13 Strategien und vier Mechanismusgruppen einordnet, und drittens ein prioritätsbasiertes Messverfahren, das beobachtbare Verschiebungen in der Anweisungspriorisierung quantifiziert.

Die Anwendung dieses Ansatzes auf fünf verschiedene LLMs unterschiedlicher Familien und Größen zeigt, dass die Framing-Mechanismen konsistente und strukturierte Veränderungen in der Priorisierung bewirken. Modelle bewegen sich von einer neutralen Ausgangsposition hin zu einer stärkeren Bevorzugung der geframten Anweisung.

Damit liefert die Arbeit einen klaren Beleg dafür, dass pragmatisches Framing ein messbarer und vorhersehbarer Faktor im Verhalten von Anweisungsfolgesystemen ist – ein wichtiger Schritt, um die Interaktion mit Sprachmodellen besser zu verstehen und zu steuern.