CiMRAG: Noise‑resistent domänenadap Retrieval‑Augmented Generation für Edge‑LLMs

Personalisierte virtuelle Assistenten, die auf großen Sprachmodellen (LLMs) laufen, gewinnen zunehmend an Bedeutung – besonders wenn sie auf Edge‑Geräten betrieben werden. Dabei spielt Retrieval‑Augmented Generation (RAG) eine zentrale Rolle, indem sie relevante Profil‑Daten abruft und maßgeschneiderte Antworten generiert. Doch die rasante Zunahme von Nutzerdaten, wie Interaktionen und Updates, stellt die Effizienz von RAG auf Edge‑Plattformen vor große Herausforderungen.

Computing‑in‑Memory (CiM) Architekturen bieten hier einen vielversprechenden Ansatz: Durch in‑situ‑Operationen entfällt der Datenverkehr zwischen Speicher und Prozessor, was die Verarbeitung beschleunigt. Gleichzeitig sind CiM‑Systeme jedoch anfällig für Umwelteinflüsse, die die Genauigkeit der Retrieval‑Funktionen beeinträchtigen können – ein kritisches Problem in dynamischen, mehrdomänen‑Umgebungen wie Reisen, Medizin oder Recht.

Um diesen Problemen entgegenzuwirken, stellt das neue Framework Task‑Oriented Noise‑resilient Embedding Learning (TONEL) eine Lösung vor. TONEL nutzt ein noise‑aware‑Projection‑Modell, um domänenspezifische Einbettungen zu erzeugen, die sowohl die Hardware‑Beschränkungen von CiM berücksichtigen als auch unter verrauschten Bedingungen präzise Retrieval‑Ergebnisse liefern. Durch gezielte Lernstrategien wird die Robustheit gegen Störungen erhöht, während die Anpassungsfähigkeit an unterschiedliche Aufgaben erhalten bleibt.

Umfangreiche Experimente auf Personalisation‑Benchmarks zeigen, dass TONEL die Leistung von RAG in noisigen Edge‑Szenarien deutlich verbessert. Im Vergleich zu etablierten Baselines erzielt das System besonders in task‑spezifischen, verrauschten Umgebungen signifikante Fortschritte. Damit bietet TONEL einen praktikablen Ansatz für die Entwicklung zuverlässiger, domänenadaptiver Sprachassistenten, die auf ressourcenbeschränkten Edge‑Geräten betrieben werden können.