Ein Kopf, viele Modelle: Cross‑Attention‑Routing für kostenbewusste LLM‑Auswahl
Die rasante Verbreitung von großen Sprachmodellen (LLMs) mit unterschiedlichen Rechenkosten und Leistungsprofilen stellt Entwickler vor die Herausforderung, skalierbare und kosteneffiziente Lösungen zu realisieren. Ein neues Routing‑Framework nutzt einen einzigen Cross‑Attention‑Kopf, um Anfrage‑ und Modell‑Embeddings gleichzeitig zu modellieren und so das optimale LLM für jede Eingabe dynamisch auszuwählen.
