KI News: Kurz und klar.

Wasserzeichen sind ein zentrales Mittel, um die verantwortungsvolle Nutzung von Sprachmodellen zu fördern. Während bisherige Wasserzeichen meist ein einzelnes Bit pro Token einbetten, haben neuere Ansätze mehrere Bits einfügen können, ohne die durchschnittlichen Vorhersagen der nächsten Token zu verändern. Dennoch blieb die maximale Bitrate – die sogenannte Kapazität – für Mehrbit-Wasserzeichen lange unbekannt.

Die Vorhersage von multivariaten Zeitreihen in graphstrukturierten Domänen ist für viele Anwendungen von entscheidender Bedeutung. Traditionelle spatiotemporale Modelle zeigen jedoch häufig eine Leistungseinbuße, wenn Daten knapp sind oder sich die Datenverteilung zwischen Trainings- und Testdomänen ändert.

In einer aktuellen Studie von Forschern auf arXiv wird erklärt, warum Rollenspiel-Modelle (RPMs) in der Praxis oft schlechter abschneiden als in kontrollierten Tests. Der Grund liegt in sogenannten Verteilungsverschiebungen – Veränderungen bei Benutzern, Charakteren und Dialogen, die die Modelle im Einsatz treffen.

Ein neues Konzept namens Entropy‑Reservoir Bregman Projection (ERBP) verspricht, das langjährige Problem des Modellkollapses in selbstgenerierenden Lernsystemen endlich zu lösen. Durch die Kombination von Informationstheorie und Bregman‑Projection‑Methoden liefert ERBP eine einheitliche Erklärung dafür, warum Modelle wie Sprachgeneratoren, GANs und Reinforcement‑Learning‑Agenten in der Regel in repetitive Muster oder Modus‑Verluste abrutschen.

Ein neues geometrisches Konzept für die semantische Interpretation, das durch explizite Richtlinienbeschränkungen Halluzinationen in hochriskanten Bereichen verhindert, wurde vorgestellt. Dabei wird die Bedeutung als Richtung auf einer Einheitskugel dargestellt, Beweise als Mengen von Zeugenvektoren modelliert und zulässige Interpretationen als sphärische konvexe Regionen definiert.

Die Schätzung physikalischer Parameter aus wenigen indirekten Messungen ist ein klassisches, stark ill-posedes Problem. Besonders in Bereichen wie Strömungsmechanik, seismischer Inversion oder der Zustandsüberwachung von Bauwerken stellen spärliche, unregelmäßige und sensorabhängige Beobachtungen große Herausforderungen dar.

In einer kürzlich veröffentlichten Studie auf arXiv werden zwei völlig neue, unüberwachte Messgrößen vorgestellt, die die Treue von Large Language Models (LLMs) zu einer vorgegebenen Aufgabe quantifizieren. Die Autoren nutzen dabei Erkenntnisse aus der Informationstheorie und der Thermodynamik, um die Funktionsweise eines LLMs als bipartiten Informationsmotor zu beschreiben.

In einer wegweisenden Veröffentlichung präsentiert SpeContext ein neues Paradigma für die Verarbeitung langer Kontexte in großen Sprachmodellen (LLMs). Das Konzept nutzt ein distilliertes Sprachmodell (DLM) als Retrieval-Algorithmus, wodurch die Informationsfokussierung zwischen DLM und Originalmodell aus Sicht der Informationstheorie optimiert wird.

Die Modellierung des Loss‑Given‑Default (LGD) steht vor einer gravierenden Datenqualitätsherausforderung: 90 % der verfügbaren Trainingsdaten stammen aus Proxy‑Schätzungen, die auf Bilanzdaten vor der Zahlungsunfähigkeit beruhen, statt aus tatsächlichen Rückgewinnungsdaten abgeschlossener Insolvenzverfahren. Diese Mischung aus unterschiedlichen Messungen führt zu systematischen Fehlern bei herkömmlichen rekursiven Partitionierungsmethoden.

Maschinelles Lernen leidet an einer Vielzahl von Fehlerquellen: von Diskriminierung gegenüber geschützten Gruppen über Anfälligkeit für trügerische Korrelationen bis hin zu schlechter Leistung bei Minderheitensubpopulationen. Diese Probleme werden bislang von unterschiedlichen Forschungsgemeinschaften getrennt untersucht.

In einer kürzlich veröffentlichten Arbeit auf arXiv wird ein innovativer Zwei-Stufen-Ansatz vorgestellt, der die Herausforderung der Long-Tail-Verteilung in Klassifikationsmodellen adressiert. Durch gezielte Maßnahmen soll die starke Verzerrung gegenüber häufigen Klassen reduziert und die Leistung bei seltenen Klassen gesteigert werden.