Forschung
LinearARD: Effiziente Distillation zur Wiederherstellung von RoPE in LLMs
Die Erweiterung von Kontextfenstern in großen Sprachmodellen wird üblicherweise durch Skalierung der Positionskodierungen und anschließende…
arXiv – cs.AI