ECLIPTICA: Dynamische LLM-Alignment mit CITA – Neue Flexibilität im Einsatz

Die Anpassung großer Sprachmodelle bleibt bislang weitgehend festgelegt: nach dem Training ist die Policy eingefroren und kann nur über Prompt-Hacks oder aufwändige Neujustierungen beeinflusst werden. Mit dem neuen Framework ECLIPTICA wird Alignment zu einer auf Anweisungen basierenden, zur Laufzeit steuerbaren Komponente. Natürliche Sprachanweisungen fungieren dabei als explizite Verhaltensverträge, die Parameter wie Haltung, Ablehnungsgrenzen oder Wortlaut unmittelbar anpassen.

Im Kern steht die Methode CITA (Contrastive Instruction‑Tuned Alignment). Sie kombiniert das klassische Supervised Fine‑Tuning mit kontrastiver Präferenzoptimierung und nutzt einen geometrischen Anker, der die Updates an ein Referenzmodell bindet. Dadurch entsteht ein stabiler Riemannischer Chart, der sicherstellt, dass neue Anweisungen innerhalb eines gemeinsamen Nachbarschaftsbereichs bleiben und somit nahtlos zwischen verschiedenen Verhaltensregimen gewechselt werden kann.

Zur Bewertung des Ansatzes wurde ein Benchmark mit 3.000 kontrollierten Fällen veröffentlicht, bei dem die Nutzeranfrage konstant bleibt und ausschließlich die Alignment‑Anweisung variiert. Auf dem Modell Llama‑3.1‑8B zeigte CITA in fünf Test‑Suiten – darunter ECLIPTICA, TruthfulQA, Conditional Safety, Length Control und LITMUS – eine Alignment‑Effizienz von 86,7 %. Das übertrifft deutlich die Leistungen von DPO (56,1 %), GRPO (36,1 %) und PPO (20,4 %).