ReLope: KL-regularisierte LoRA-Probes verbessern Routing in multimodalen LLMs

Routing hat sich als vielversprechende Methode etabliert, um die Leistung großer Sprachmodelle (LLMs) mit Kosten zu balancieren. Dabei werden leichte Modelle mit leistungsstarken, aber teuren Großmodellen kombiniert. In rein textbasierten LLMs hat sich das Konzept des Probe‑Routings durchgesetzt, bei dem die Korrektheit eines kleinen Modells anhand seiner versteckten Zustände vorhergesagt wird.

Bei multimodalen LLMs (MLLMs) stellen sich jedoch neue Herausforderungen. Visuelle Eingaben schwächen die Trennbarkeit der Korrektheitssignale in den versteckten Zuständen, sodass Standard‑Probe‑Designs weniger effektiv sind. Um dieses Problem zu lösen, wurden zwei innovative Ansätze entwickelt.

Der erste Ansatz, die Attention Probe, aggregiert die versteckten Zustände der vorherigen Schicht anhand von Aufmerksamkeitswerten, um die verteilten Korrektheitssignale wiederherzustellen. Der zweite Ansatz, die KL‑Regularized LoRA Probe (ReLope), fügt einen leichten LoRA‑Adapter ein und nutzt einen KL‑Regularisierer, um routingspezifische Repräsentationen zu erlernen.

Umfangreiche Experimente zeigen, dass beide Methoden die Basisverfahren konsequent übertreffen. Die Ergebnisse unterstreichen, dass die Qualität der versteckten Zustände entscheidend für ein effektives Routing in multimodalen LLMs ist. Der zugehörige Code ist unter https://github.com/Spinozaaa/ReLope verfügbar.