Neurosymbolische LoRA: Numerische & symbolische Updates für bessere LLM-Anpassung

Ein neues Forschungsverfahren namens neurosymbolische LoRA kombiniert die Stärken von numerischem Fine‑Tuning und symbolischer Prompt‑Modifikation, um große Sprachmodelle (LLMs) effizienter und vielseitiger anzupassen. Während numerische Updates Parameter direkt verändern und damit neue Fakten einbauen, ermöglichen symbolische Änderungen die feine Steuerung von Stil und Ausrichtung, ohne das Modell neu zu trainieren.

Die Methode nutzt einen einheitlichen Monitoring‑Signal und einen belohnungsbasierten Klassifikator, um automatisch zu entscheiden, wann ein LoRA‑Update für tiefgreifende Faktenreparaturen eingesetzt wird und wann TextGrad für token‑basierte Korrekturen verwendet wird. Symbolische Transformationen werden nur bei Bedarf an ein externes LLM delegiert, wodurch der Speicherbedarf gering bleibt.

Ein zusätzlicher Vorteil ist, dass die während der symbolischen Bearbeitung erzeugten, verbesserten Prompts als hochwertige, wiederverwendbare Trainingsdaten dienen. Dies ist besonders wertvoll in datenarmen Bereichen wie der mathematischen Problemlösung. Umfangreiche Experimente mit verschiedenen LLM‑Architekturen zeigen, dass neurosymbolische LoRA sowohl numerische als auch symbolische Baselines übertrifft und damit die Anpassungsfähigkeit und Leistung deutlich steigert.

Die Ergebnisse unterstreichen die Bedeutung einer interleaved Strategie, bei der numerische und symbolische Updates kombiniert werden, um Sprachmodelle auf ein neues Niveau der Flexibilität und Effizienz zu heben.