ConsRoute: Konsistenzbewusstes adaptive Routing für Cloud‑Edge‑LLMs
Large Language Models (LLMs) bieten beeindruckende Fähigkeiten, bringen jedoch erhebliche Latenzzeiten und Kosten mit sich, was ihre Nutzung in zeitkritischen und ressourcenbeschränkten Szenarien erschwert. Durch die Ko…