TATRA: Instanzbasiertes Prompting ohne Training – neue Methode für LLMs

Die Leistungsfähigkeit großer Sprachmodelle (LLMs) hat sich in den letzten Jahren stark verbessert, doch ihre Reaktion auf unterschiedliche Prompt‑Formulierungen bleibt nach wie vor sehr empfindlich. Diese Schwäche hat die Entwicklung automatisierter Prompt‑Engineering‑Methoden vorangetrieben, die jedoch meist ein task‑spezifisches Trainingsset benötigen, aufwendige Optimierungszyklen ausführen und bei jeder neuen Aufgabe von Grund auf neu gestartet werden müssen.

Mit TATRA (Training‑Free Instance‑Adaptive Prompting) wird ein völlig neuer Ansatz vorgestellt: Die Methode erzeugt instanzspezifische Few‑Shot‑Prompts, indem sie während der Laufzeit selbst Beispiele synthetisiert, die die vom Nutzer bereitgestellte Anweisung ergänzen. Dabei sind keine gelabelten Trainingsdaten erforderlich und es entfällt jeder task‑spezifische Optimierungsloop – dennoch profitieren die Modelle von den Vorteilen demonstrationsbasierter Prompting‑Strategien.

In umfangreichen Tests auf Standard‑Textklassifikations‑Benchmarks erreicht TATRA die Leistungen oder sogar bessere Ergebnisse als starke Prompt‑Optimierungs‑Baselines, die auf Trainingsdaten und umfangreichen Suchverfahren beruhen. Auf mathematischen Reasoning‑Benchmarks wie GSM8K und DeepMath erzielt die Methode sogar einen neuen Stand der Technik und übertrifft explizit optimierte Prompt‑Ansätze. Die Ergebnisse zeigen, dass die gezielte Konstruktion von In‑Context‑Beispielen für jede Instanz wichtiger ist als lange, kostenintensive Optimierungszyklen, die nur einen einzigen Prompt pro Aufgabe liefern.

Der komplette Code wird nach Annahme des Papers öffentlich zugänglich gemacht. Weitere Informationen und den Quellcode finden Sie unter https://github.com/BMD223/TATRA.