Doc-to-LoRA: Sofortige Kontextinternalisierung für LLMs

Die neue Methode Doc-to-LoRA (D2L) nutzt ein leichtgewichtiges Hypernetzwerk, das in einer einzigen Vorwärtsausführung lernt, Kontextinformationen in die Parameter eines großen Sprachmodells (LLM) zu übertragen. Durch die Generierung eines LoRA‑Adapters für ein Ziel-LLM kann das Modell anschließend Fragen beantworten, ohne den ursprünglichen Kontext erneut zu verarbeiten. Das Ergebnis ist eine deutliche Reduktion von Latenz und Speicherbedarf im KV‑Cache während der Inferenz.

In Tests mit einer langen „Needle‑in‑a‑Haystack“-Aufgabe zeigte D2L, dass es Kontexte in Adapter umwandeln kann, die das gesuchte Element speichern. Dabei erreichte das System nahezu perfekte Zero‑Shot‑Genauigkeit, selbst bei Sequenzen, die mehr als viermal länger sind als das native Kontextfenster des Ziel‑LLMs. Auf realen Frage‑Antwort‑Datensätzen übertraf D2L herkömmliche Kontext‑Distillation, während es gleichzeitig den Spitzen‑Speicherverbrauch und die Aktualisierungslatenz deutlich senkte.

Diese Fortschritte eröffnen die Möglichkeit, LLMs schnell an neue Informationen anzupassen und personalisierte Chat‑Verhalten zu ermöglichen. Durch die effiziente Kontextinternalisierung können Modelle häufiger aktualisiert werden, ohne dass die Rechenkosten exponentiell steigen.