KI News: Kurz und klar.

In einer wegweisenden Studie zeigen Forscher, dass Decoder‑Only‑Transformers unter real‑analytischen Annahmen die Abbildung von diskreten Prompt‑Sätzen auf die letzten Token‑Hidden‑States im Allgemeinen injektiv ist. Sie erweitern dieses Ergebnis, indem sie für jede Schicht einen Kollisionsdiskriminanten Δℓ und einen injektiven Stratum Uℓ definieren. Dabei gilt eine klare Dichotomie: Entweder ist das Modell auf dem gesamten Parameterraum niemals injektiv, oder Uℓ ist offen, dicht und jede Abbildung Fℓ ist injektiv.

In einer aktuellen Veröffentlichung auf arXiv wird ein neues Verfahren für stochastische konvexe Optimierung im Differential-Privacy-Modell vorgestellt. Das Besondere: Die Autoren berücksichtigen die Tsybakov Noise Condition (TNC) mit einem Parameter θ > 1, wodurch die Lipschitz-Konstante des Verlustes beliebig groß oder sogar unbeschränkt sein kann. Stattdessen wird lediglich das ℓ₂‑Gradienten‑Signal mit einem beschränkten k‑ten Moment (k ≥ 2) vorausgesetzt.