Quantisierung lügt? Neue Studie untersucht Wahrhaftigkeit quantisierter LLMs
Quantisierung macht große Sprachmodelle in ressourcenarmen Umgebungen einsetzbar, indem Speicher- und Rechenaufwand drastisch reduziert wird. Doch wie wirkt sich diese Kompression auf die Wahrhaftigkeit der Antworten aus? Das neue Papier präsentiert dazu ein umfassendes Evaluationsframework.
