Domänenübergreifende Beispiele steigern LLMs beim logischen Denken

Die neuesten Fortschritte von großen Sprachmodellen (LLMs) im logischen Denken sind beeindruckend, doch sie erreichen noch nicht die menschliche Leistungsstufe. Traditionelle Boosting‑Strategien setzen auf von Experten erstellte, domänenspezifische Demonstrationen – ein Ansatz, der in Bereichen mit knappen Fachkenntnissen wie spezialisierter Mathematik, formaler Logik oder juristischer Analyse kaum praktikabel ist.

In der neuen Arbeit von arXiv:2604.05383v1 wird gezeigt, dass cross‑domain Demonstrationen die LLM‑Leistung erheblich steigern können. Viele implizite logische Strukturen sind über verschiedene Domänen hinweg gemeinsam, sodass sie wiederverwendet werden können. Das vorgeschlagene Verfahren, DIN‑Retrieval (Domain‑Invariant‑Neurons‑Based Retrieval), fasst zunächst eine universelle, domänenübergreifende Repräsentation zusammen. Während der Inferenzphase nutzt es den so erzeugten DIN‑Vektor, um strukturell kompatible Demonstrationen aus anderen Domänen abzurufen und in das In‑Context‑Learning einzubinden.

Experimentelle Ergebnisse in mehreren Settings – insbesondere bei der Übertragung von mathematischem und logischem Denken – zeigen, dass DIN‑Retrieval im Durchschnitt 1,8 Punkte besser abschneidet als aktuelle State‑of‑the‑Art‑Methoden. Die Autoren stellen ihren Code öffentlich zur Verfügung: https://github.com/Leon221220/DIN-Retrieval.