KI‑Routing: Kleinere Modelle meistern komplexe Aufgaben

Eine neue Studie aus dem arXiv‑Repository präsentiert einen innovativen Ansatz, um die enorme Rechenlast großer Sprachmodelle zu reduzieren, ohne dabei an Genauigkeit zu verlieren. Durch ein sogenanntes Routing‑System werden Aufgaben gezielt an das kleinste Modell zugewiesen, das mit hoher Wahrscheinlichkeit die Aufgabe lösen kann.

Der Schlüssel liegt in der Nutzung von Zwischenrepräsentationen des 32‑Billionen‑Parameter‑Modells s1.1-32B. Aus diesen Daten werden leichte Vorhersagemodelle trainiert, die die Schwierigkeit einer Aufgabe oder die Wahrscheinlichkeit, dass ein bestimmtes Modell korrekt antwortet, abschätzen. Diese Vorhersagen steuern dann die Zuordnung der Aufgaben zu einem Pool verschiedener, kleinerer Reasoning‑Modelle.

Die Experimente auf einer Vielzahl mathematischer Benchmarks zeigen, dass das Routing die Effizienz deutlich steigert. Im Vergleich zu einer zufälligen Zuordnung erreicht es die gleiche Leistungsfähigkeit wie das große s1.1-32B‑Modell, verbraucht jedoch wesentlich weniger Rechenleistung. Die Ergebnisse unterstreichen, dass eine schwierigkeitssensitive Routenstrategie ein wirkungsvolles Mittel für die kosteneffiziente Bereitstellung von KI‑Reasoning‑Modellen darstellt.