Adaptive Soft Rolling KV Freeze: Entropie-gesteuerte Wiederherstellung für LLMs
Ein neues, trainingsfreies Verfahren zur effizienten Textgenerierung bei großen Sprachmodellen wurde vorgestellt. Die Methode, genannt Adaptive Soft Rolling KV Freeze mit Entropie-gesteuerter Wiederherstellung (ASR‑KF‑E…