Trinity: Koordinator für LLMs setzt neue Maßstäbe

Die neueste Veröffentlichung von Trinity präsentiert einen schlanken Koordinator, der die Zusammenarbeit mehrerer großer Sprachmodelle (LLMs) effizient steuert. Durch die Kombination eines kompakten Sprachmodells mit etwa 0,6 Milliarden Parametern und einer leichten Kopfkomponente von rund 10 Tausend Parametern schafft Trinity eine leichtgewichtige Architektur, die sich durch schnelle Reaktionszeiten und geringe Ressourcenanforderungen auszeichnet.

Trinity nutzt eine evolutionäre Optimierungsstrategie, um die Aufgabenverteilung zwischen den LLMs dynamisch anzupassen. Bei jeder Interaktionsrunde weist der Koordinator einem ausgewählten Modell eine der drei Rollen zu – Thinker, Worker oder Verifier. Auf diese Weise wird die komplexe Kompetenzentwicklung vom Koordinator selbst abgelöst und die jeweiligen Stärken der Modelle optimal genutzt.

Experimentelle Ergebnisse zeigen, dass Trinity in allen getesteten Bereichen – von Programmieraufgaben über Mathematik bis hin zu logischem Denken und domänenspezifischem Wissen – die Leistung einzelner Modelle und bestehender Methoden übertrifft. Besonders beeindruckend ist der 86,2 %‑Score auf dem LiveCodeBench‑Benchmark, der einen neuen Stand der Technik markiert.

Die herausragende Performance lässt sich auf zwei Hauptfaktoren zurückführen: Erstens liefern die versteckten Zustandsrepräsentationen des Koordinators reichhaltige Kontextinformationen, die die Interaktion mit den LLMs verbessern. Zweitens bietet die separable Covariance Matrix Adaptation Evolution Strategy (CMA‑ES) bei hoher Dimensionalität und strengen Budgetbeschränkungen Vorteile gegenüber Reinforcement Learning, Imitation Learning und zufälliger Suche, indem sie potenzielle Block‑Epsilon‑Separabilität ausnutzt.