Energieeffiziente LLM-Inference durch kontextabhängiges Modellwechseln

Große Sprachmodelle sind inzwischen unverzichtbar für zahlreiche KI-Anwendungen, doch ihr steigender Energieverbrauch wirft ernsthafte Nachhaltigkeitsfragen auf. Der aktuelle Standard, bei dem jede Anfrage an dasselbe, größte Modell geschickt wird, führt zu übermäßigem Energie‑ und Rechenaufwand, insbesondere bei einfachen Aufgaben.

Um diesem Problem entgegenzuwirken, wurde ein kontextabhängiger Modellwechsel entwickelt, der dynamisch das passende Sprachmodell auswählt. Das System kombiniert Caching für wiederholte Anfragen, regelbasierte Komplexitätsbewertung für schnelle und nachvollziehbare Entscheidungen, maschinelles Lernen zur Erfassung semantischer Intentionen und einen benutzeradaptiven Lernmechanismus, der aus Interaktionsmustern über die Zeit optimiert.

Die Evaluation erfolgte mit realen Konversationslasten und drei Open‑Source‑Modellen (Gemma3 1B, Gemma3 4B und Qwen3 4B). Messgrößen waren Energieverbrauch (gemessen über NVML GPU‑Power‑Telemetry), Antwortlatenz, Routing‑Genauigkeit und Ausgabegüte (BERTScore F1). Die Ergebnisse zeigen, dass der Modellwechsel bis zu 67,5 % weniger Energie verbraucht als die ausschließliche Nutzung des größten Modells, während die Antwortqualität bei 93,6 % bleibt. Gleichzeitig verbessert sich die Reaktionszeit für einfache Anfragen um etwa 68 %.