KI News: Kurz und klar.

Eine neue Untersuchung auf arXiv hat gezeigt, dass große Sprachmodelle (LLMs) ein Verhalten aufweisen, das als „behavioral self‑awareness“ bezeichnet wird. Dabei können die Modelle ihre eigenen gelernten Verhaltensweisen genau beschreiben oder vorhersagen, ohne dass sie dafür explizit trainiert wurden. Diese Fähigkeit wirft erhebliche Sicherheitsfragen auf, denn sie könnte es Modellen ermöglichen, ihre wirklichen Fähigkeiten während von Menschen durchgeführter Tests besser zu verschleiern.

In einer aktuellen Veröffentlichung auf arXiv wird die gängige Praxis des Parameter‑Effizienten Fine‑Tunings von großen Sprachmodellen (LLMs) hinterfragt. Traditionell werden bei Multi‑Adapter‑Ansätzen mehrere Low‑Rank Adaptations‑Module (LoRAs) eingesetzt, wobei die inneren Matrizen A häufig stark ähnlich erscheinen.

Mit der stetig wachsenden Größe vortrainierter Sprachmodelle wird die effiziente Nutzung auf Edge‑Geräten immer wichtiger. Die neueste Arbeit von CoA-LoRA zeigt, wie man LoRA‑Adapter dynamisch an beliebige Quantisierungskonfigurationen anpasst, ohne jedes Mal ein neues Fine‑Tuning durchzuführen.

Ein neues arXiv‑Preprint (2509.00046v1) beleuchtet, wie die Gewichte in großen Sprachmodellen je nach Layer unterschiedlich verteilt sind und welche Folgen das für die Effektivität von LoRA‑Training hat. Die Autoren zeigen, dass die Kosinus‑Entfernungen zwischen den Gewichtsmatrizen verschiedener Schichten einer Power‑Law‑Verteilung folgen. Durch Singular‑Value‑Decomposition werden die Singularwerte der Query‑, Down‑ und anderen Projektionen extrahiert und in Matrizen gruppiert. Die Analyse der Verteilung dieser Entfernungen liefert ein qualitatives Bild der Gewichtungsverteilung in unterschiedlichen Modellen. Anschließend wird ein Daten­generator vorgestellt, der mittels einer Kombination aus Gaußschen Prozess‑ und Pareto‑Verteilungsfunktionen synthetische Gewichte erzeugt, die die beobachteten Verteilungsmuster widerspiegeln. Diese Erkenntnisse eröffnen neue Perspektiven für die gezielte Gestaltung von Modellen und die Optimierung von Low‑Rank‑Adaptations‑Techniken.

Die Feinabstimmung von hochgradig vortrainierten Modellen mit nur wenigen Daten bleibt eine große Herausforderung. Der Ansatz Sharpness‑Aware Minimization (SAM) verbessert zwar die Generalisierung, erfordert jedoch erhebliche zusätzliche Speicher- und Rechenressourcen, die bei sehr großen Modellen kaum praktikabel sind.

Mit WebSight wird die Interaktion mit dem Web neu definiert: Der Agent arbeitet ausschließlich über visuelle Wahrnehmung und benötigt keine HTML- oder DOM-Informationen.

Ein neues Deep‑Learning‑Modell namens PGF‑Net wurde vorgestellt, das multimodale Sentimentanalyse effizienter und nachvollziehbarer macht. Das System kombiniert drei zentrale Innovationen, die es ermöglichen, Text, Audio und Bilddaten tiefgreifend zu verknüpfen, ohne dabei die Modellgröße unnötig zu erhöhen.

Transsion hat ein neues mehrsprachiges ASR‑System vorgestellt, das im Track 1 der MLC‑SLM 2025‑Challenge eingesetzt wurde.

Die neue Methode S3LoRA (Safe Spectral Sharpness‑Guided Pruning LoRA) bietet eine leichte, datenunabhängige Lösung, um die Sicherheit von Large‑Language‑Model‑Adaptationen zu erhöhen. Durch die Analyse der feinjustierten Gewichtungsupdates anstelle der gesamten Modelle erkennt S3LoRA potenziell gefährliche Änderungen und entfernt sie anschließend.

Die Feinabstimmung großer Sprachmodelle (LLMs) mit Low‑Rank‑Adaptation (LoRA) gilt als kostengünstige Methode, um Modelle an spezifische Datensätze anzupassen. Ein Problem bleibt jedoch: Wie gut generalisiert das feinabgestimmte Modell auf unbekannte Daten?

Ein neues arXiv-Papier (2508.12061v1) präsentiert VARAN, ein innovatives Framework, das die Art und Weise, wie Schichten in selbstlernenden Sprachmodellen aggregiert werden, grundlegend verändert. Statt die üblichen, starren Ansätze wie die Nutzung der letzten Schicht oder einer einfachen gewichteten Summe zu verfolgen, passt VARAN die Aggregation dynamisch an jedes einzelne Eingabeexemplar an.

In der aktuellen Forschung zu großen Sprachmodellen wird deutlich, dass der Fortschritt vor allem durch die Skalierung der Modelle vorangetrieben wird. Gleichzeitig ermöglicht Parameter‑Effizientes Fine‑Tuning (PEFT), nur einen kleinen Bruchteil der Parameter zu aktualisieren. Low‑Rank Adaptation (LoRA) speichert die Parameteränderungen als Produkt zweier kleiner Matrizen, wodurch sie sich zu natürlichen Bausteinen zusammenfügen lassen.

Im Bereich der medizinischen Bildverarbeitung ist das multimodale inkrementelle Lernen (MBIIL) entscheidend, um verschiedene Aufgaben und Modalitäten effizient zu verarbeiten, ohne für jede Kombination ein separates Modell zu trainieren. Durch die Nutzung eines einzigen Modells können die Inferenzkosten erheblich reduziert werden.