LOCUS: Kompakte Embeddings für effiziente Modellwahl und Vergleich
Das rasante Wachstum der großen Sprachmodelle (LLMs) erschwert es zunehmend, die vielfältige und sich ständig verändernde Modelllandschaft sinnvoll zu verwalten. Mit LOCUS wird dieses Problem angegangen: Die Methode erzeugt kompakte, niedrigdimensionale Vektor‑Embeddings, die die Fähigkeiten eines Modells anhand von Anfragen zusammenfassen.
LOCUS nutzt einen attention‑basierten Ansatz, bei dem Embeddings deterministisch aus der Vorwärtsauswertung von Anfrage‑Encodings und Bewertungsscores eines Encoder‑Modells generiert werden. Dadurch lassen sich neue Modelle nahtlos in den Pool aufnehmen und bestehende Embeddings ohne erneutes Training verfeinern.
Zusätzlich wird ein Genauigkeits‑Predictor trainiert, der die Embeddings und Anfrage‑Encodings kombiniert, um die Routengenauigkeit bei unbekannten Anfragen auf einem neuen, branchenführenden Niveau zu erreichen.
Experimentelle Ergebnisse zeigen, dass LOCUS bis zu 4,8‑mal weniger Evaluationssamples benötigt als herkömmliche Baselines, um aussagekräftige und robuste Embeddings zu erzeugen. Der erlernte Embedding‑Raum besitzt zudem eine sinnvolle geometrische Struktur: Modelle, die sich im Raum nahe liegen, sind ähnlich, was vielfältige Anwendungen ermöglicht – von Modellvergleich und Clustering über die Auswahl von Modellportfolios bis hin zu robusten Ersatz‑Proxies für nicht verfügbare Modelle.