Prompt-Variabilität vs. Modellwahl: Einfluss auf kreative LLM-Ausgaben

Eine neue Untersuchung auf arXiv beleuchtet, wie viel der Variabilität von großen Sprachmodellen (LLMs) auf Prompt, Modellwahl oder Zufall zurückzuführen ist. Die Studie testet 12 verschiedene LLMs mit 10 kreativen Prompt-Kombinationen und 100 Stichproben pro Prompt – insgesamt 12.000 Ausgaben.

Bei der Bewertung der Originalität der Texte erklären die Prompts 36,43 % der Varianz, was fast dem Beitrag der Modellwahl (40,94 %) entspricht. Das bedeutet, dass die Formulierung des Prompts ein entscheidender Hebel ist, um die Qualität der kreativen Ausgaben zu steuern.

Für die Fließfähigkeit der Texte hingegen dominiert die Modellwahl mit 51,25 % der Varianz, gefolgt von einer inneren LLM-Varianz von 33,70 %. Die Prompts tragen lediglich 4,22 % bei. Hier zeigt sich, dass die Wahl des Modells einen viel größeren Einfluss hat als die Prompt-Formulierung.

Ein wichtiger Hinweis der Studie ist, dass die innerhalb eines Modells auftretende Varianz – zwischen 10 % und 34 % – erheblich ist. Das bedeutet, dass Einzelproben leicht durch zufällige Sampling‑Störungen verfälscht werden können. Um echte Effekte von Prompt oder Modellwahl zu isolieren, sind daher mehrere Stichproben pro Konfiguration unerlässlich.

Insgesamt unterstreicht die Arbeit die Bedeutung von sorgfältiger Prompt‑Engineering und einer robusten Evaluationsstrategie, wenn man die kreative Leistungsfähigkeit von LLMs messen möchte. Die Ergebnisse geben Forschern und Praktikern wertvolle Hinweise, wie sie die Variabilität in ihren Experimenten besser kontrollieren können.