Selbstgenerierte Beispiele: Der Prozess steigert KI-Logik

Neuste Untersuchungen zeigen, dass große Sprachmodelle ihre logischen Fähigkeiten deutlich verbessern können, wenn sie selbst wenige Beispielaufgaben generieren. Der eigentliche Grund für diesen Erfolg war bislang jedoch unklar. In einer neuen Studie wird deutlich, dass der Nutzen nicht in den erzeugten Beispielen selbst liegt, sondern im Akt des Erstellens.

Die Autoren haben drei unterschiedliche Prompting‑Strategien verglichen: (1) Zero‑Shot‑Prompting, bei dem das Modell ohne zusätzliche Beispiele antwortet; (2) Integrated Prompting, bei dem das Modell gleichzeitig neue Aufgaben erstellt und löst; und (3) Decoupled Prompting, bei dem die selbstgenerierten Beispiele als Kontext genutzt werden, aber die Erstellungsphase selbst ausgelassen wird. Durch systematische Experimente mit fünf führenden Modellarchitekturen konnten sie zeigen, dass Integrated Prompting konsequent die besten Ergebnisse liefert, während Decoupled Prompting nur geringe Verbesserungen gegenüber Zero‑Shot bietet.

Eine detaillierte Aufmerksamkeitsanalyse verdeutlicht, dass sich die internen Fokus‑Muster zwischen Integrated und Decoupled Prompting stark unterscheiden, was die Bedeutung des Erstellungsprozesses weiter unterstreicht. Die Erkenntnisse liefern wertvolle Hinweise für die Gestaltung effektiver Prompting‑Methoden und zeigen, dass der kreative Prozess des Problembildens der Schlüssel zum Erfolg ist.