KI News: Kurz und klar.

Transformers bilden heute das Rückgrat moderner KI‑Modelle, doch ihre enormen Rechen- und Speicheranforderungen stellen Systeme vor große Herausforderungen. Sparse‑Training kann die Effizienz steigern, doch bisherige Ansätze vernachlässigen die engen Wechselwirkungen zwischen den Gewichtsmatrizen, die in Aufmerksamkeits‑ und Feed‑Forward‑Schichten multipliziert werden. Das führt bei hohen Sparsitätsgraden zu Leistungseinbußen.

Eine neue Studie auf arXiv (2510.08734v1) legt die theoretische Basis dafür, wie große Sprachmodelle durch gezielte Änderungen ihrer internen Zustände gesteuert werden können. Dabei werden nicht nur Aktivierungen, sondern auch Gewichtsmatrizen direkt angepasst.