Quantisierung von LLMs: Wirkung auf neuronale Darstellungen bleibt gering
Quantisierung gilt als praktikable Methode, um große Sprachmodelle in ressourcenbeschränkten Umgebungen einzusetzen. Trotz ihrer Popularität wurde die Auswirkung auf die internen Repräsentationen bisher kaum untersucht, was Fragen zur Zuverlässigkeit quantisierter Modelle aufwirft.
