LLM-Modelle als synthetische Teilnehmer: Zwei Ansätze für valide Kausalität

In der Sozialforschung gewinnt die Nutzung von großen Sprachmodellen (LLMs) als synthetische Teilnehmer immer mehr an Bedeutung. Durch Prompt‑Engineering, Feinabstimmung und andere Reparaturstrategien können LLMs kostengünstige und nahezu sofortige Antworten liefern, die für Experimente in den Sozialwissenschaften von großem Nutzen sein können.

Die vorliegende Studie vergleicht zwei unterschiedliche Vorgehensweisen, um valide Schätzungen kausaler Effekte zu erhalten. Auf der einen Seite stehen heuristische Ansätze, die darauf abzielen, simuliertes und beobachtetes menschliches Verhalten durch gezielte Modellanpassungen austauschbar zu machen. Diese Methoden eignen sich besonders für explorative Untersuchungen, jedoch fehlt ihnen die formale statistische Sicherheit, die für bestätigende Forschung erforderlich ist.

Auf der anderen Seite steht die statistische Kalibrierung, die ergänzende menschliche Daten nutzt und statistische Anpassungen vornimmt, um Diskrepanzen zwischen realen und simulierten Antworten zu berücksichtigen. Unter klar definierten Annahmen gewährleistet die Kalibrierung die Validität und liefert präzisere Schätzungen zu geringeren Kosten als reine Humanexperimente.

Der Erfolg beider Ansätze hängt entscheidend davon ab, wie gut die LLMs die relevanten Bevölkerungsgruppen abbilden. Die Arbeit betont, dass Forscher Chancen verpassen, wenn sie zu eng darauf fokussieren, LLMs einfach als Ersatz für menschliche Teilnehmer einzusetzen, und fordert stattdessen einen differenzierten Einsatz beider Methoden.