MemLoRA: Kleine Modelle mit Speicher-Adapter für On-Device-LLMs

Ein neues Verfahren namens MemLoRA ermöglicht es kleinen Sprachmodellen, auf Geräten ohne Cloud‑Abhängigkeit zu arbeiten. Durch die Integration spezialisierter Speicher‑Adapter können diese Modelle relevante Erinnerungen speichern, aktualisieren und in die Textgenerierung einfließen lassen.

Die Adapter werden nach Prinzipien der Wissensdistillation trainiert und sind jeweils für die Aufgaben Wissensextraktion, Speicher‑Update und speicher‑gestützte Generierung optimiert. Dadurch erreichen die kleinen Modelle eine Leistung, die mit Modellen verglichen werden kann, die zehnmal größer sind, und liegen sogar nahe an Modellen, die sechzigmal größer sind, wenn es um das LoCoMo‑Benchmark geht.

Für multimodale Anwendungen wurde MemLoRA erweitert – MemLoRA‑V. Diese Version kombiniert die Speicher‑Adapter mit kleinen Vision‑Language‑Modellen, sodass die Systeme nicht nur Text, sondern auch Bilder verstehen und in die Kontextverarbeitung einbeziehen können.

MemLoRA zeigt damit, dass Speicher‑Augmentation und gezielte Adapter‑Distillation die Leistungsbarriere kleiner Modelle senken und gleichzeitig die Privatsphäre der Nutzer schützen, indem keine Daten an externe Server gesendet werden müssen.