Personalisierter Router: Graphbasierte LLM-Auswahl nach Nutzerpräferenzen

Ein neuer Ansatz zur Auswahl von Sprachmodellen: Der auf Graphen basierende PersonalizedRouter berücksichtigt individuelle Nutzerpräferenzen und liefert deutlich bessere Ergebnisse als bisherige Methoden.

Mit der rasanten Zunahme von Large Language Models (LLMs) – die sich in Leistung, Kosten und Antwortstil stark unterscheiden – wird die Wahl des passenden Modells immer komplexer. Aktuelle Auswahlverfahren optimieren meist nur ein einzelnes Ziel, etwa die Genauigkeit oder die Kosten, und lernen dabei die persönlichen Vorlieben der Nutzer nicht aus Interaktionsdaten.

PersonalizedRouter löst dieses Problem, indem es sämtliche Interaktionsdaten – Aufgabenbeschreibung, Nutzeranfragen, potenzielle LLMs und die getroffenen Entscheidungen – in einen heterogenen Graphen überführt. Durch die Modellierung der Beziehungen zwischen den verschiedenen Knotentypen kann das System den optimalen LLM für jede spezifische Anfrage bestimmen. Zur Bewertung der Anpassungsfähigkeit wurden zwei Strategien entwickelt: die Multi‑Cost‑Efficiency‑Simulation und die LLM‑as‑a‑Judge‑Strategie.

Auf dem selbst erstellten PersonaRoute‑Bench, der 1.000 simulierte Nutzer und 10 LLMs umfasst, übertrifft PersonalizedRouter bestehende Auswahlmethoden um 15,38 % bzw. 9,83 % bei den beiden Simulationsstrategien. Auf dem Benchmark selbst erzielt es noch höhere Differenzen von 16,19 % und 59,69 %. Diese Ergebnisse zeigen, dass ein graphbasiertes, nutzerzentriertes Routing die Zukunft der LLM-Auswahl ist.