Adaptive Quantisierung für Edge-LLMs: Speicher und Latenz reduzieren

Große Sprachmodelle zeigen beeindruckende Leistungen in Bereichen wie Logik, Codegenerierung und komplexen Problemlösungen. Gleichzeitig erfordern sie enorme Rechenleistung und Speicher, was ihre Nutzung auf Edge-Geräten erschwert, wo Echtzeitantworten und Datenschutz entscheidend sind. Traditionelle Quantisierung reduziert Speicherbedarf, indem sie alle Schichten gleichmäßig komprimiert, ignoriert jedoch, dass einzelne Layer unterschiedlich empfindlich auf reduzierte Präzision reagieren. Darüber hinaus stimmen Speicherverbrauch und Durchsatz nicht immer überein, was die Optimierung weiter verkompliziert.

Die neue Methode namens APreQEL führt eine adaptive Mixed-Precision-Quantisierung ein, die für jede Schicht die optimale Präzision bestimmt. Durch Analyse der Schichtbeiträge und des Verhaltens verschiedener Quantisierungstypen auf dem Zielhardware wird jede Schicht individuell angepasst, sodass Speicher, Latenz und Genauigkeit gemäß benutzerdefinierter Prioritäten ausbalanciert werden. Diese gezielte Herangehensweise eröffnet Konfigurationsmöglichkeiten, die mit einheitlicher Quantisierung nicht erreichbar sind, und ermöglicht so die effiziente Bereitstellung von LLMs auf ressourcenbeschränkten Edge-Geräten.