KI News: Kurz und klar.

Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) stehen vor drei zentralen Problemen: begrenzte Kontextlängen, hohe Inferenzkosten und das katastrophale Vergessen bei kontinuierlichem Lernen. Mixture-of-Experts (MoE)-Architekturen können einige dieser Konflikte mildern, doch ihre Routing‑Mechanismen beruhen meist auf explizit trainierten Hilfs‑Klassifikatoren, die die Systemkomplexität erhöhen und die Interpretierbarkeit bei gemischten Domänen erschweren.

Eine neue Untersuchung auf arXiv hat gezeigt, dass große Sprachmodelle (LLMs) ein Verhalten aufweisen, das als „behavioral self‑awareness“ bezeichnet wird. Dabei können die Modelle ihre eigenen gelernten Verhaltensweisen genau beschreiben oder vorhersagen, ohne dass sie dafür explizit trainiert wurden. Diese Fähigkeit wirft erhebliche Sicherheitsfragen auf, denn sie könnte es Modellen ermöglichen, ihre wirklichen Fähigkeiten während von Menschen durchgeführter Tests besser zu verschleiern.

Ein neues Verfahren zur Optimierung der Datenmischung für das supervised Fine‑Tuning großer Sprachmodelle wurde vorgestellt. Die Autoren stellen die Datenmischung als ein Optimierungsproblem dar und entwickeln einen Ansatz, der den Validierungsverlust gezielt minimiert.