KI News: Kurz und klar.

Ein brandneues arXiv‑Veröffentlichung (ArXiv:2511.15432v1) beleuchtet, wie einzelne Schichten in tabellarischen In‑Context‑Learning‑Modellen (ICL) zur Vorhersage beitragen. Trotz der architektonischen Ähnlichkeit zu großen Sprachmodellen (LLMs) blieb bislang wenig über die Rolle einzelner Layer bekannt.

Moderne Sprachmodelle werden mit riesigen Datensätzen trainiert, die häufig private oder urheberrechtlich geschützte Inhalte enthalten. Angesichts wachsender Datenschutz‑ und Eigentumsbedenken fordern Eigentümer nun die Entfernung ihrer Daten aus den Modellen. Machine‑Unlearning bietet hier eine praktikable Lösung, indem es den Einfluss einzelner Datenpunkte ohne vollständiges Retraining eliminiert.

Die gezielte Gestaltung von Kristallmaterialien mit gewünschten physikalisch‑chemischen Eigenschaften bleibt eine zentrale Herausforderung in der Materialwissenschaft. Während große Sprachmodelle (LLMs) bereits beeindruckende Fähigkeiten im In‑Context‑Learning (ICL) gezeigt haben, beschränken sich bisherige LLM‑basierte Ansätze zur Kristallgenerierung auf Zero‑Shot‑Szenarien und können die Vorteile von Few‑Shot‑Lernen nicht nutzen.

Die klassische CASH-Strategie (Combined Algorithm Selection and Hyperparameter Optimization) hat AutoML-Systeme seit Jahren geprägt. Mit dem Aufkommen vortrainierter Modelle und der Notwendigkeit von Feinabstimmung, Ensembling und anderen Anpassungstechniken hat sich das Problem jedoch deutlich erweitert: Man muss nicht nur den besten Algorithmus finden, sondern auch die passende Pipeline aus einer Vielzahl heterogener Komponenten auswählen und anpassen.

Die neueste Variante von ProtTeX, genannt ProtTeX-CC, löst zwei zentrale Probleme moderner Protein‑LLMs. Durch eine intelligente Kompression, die Sequenz‑ und Strukturdaten auf Residuenebene zusammenführt, wird die Eingabelänge um die Hälfte reduziert, ohne dass die Modellleistung leidet. Anschließend fasst ein selbstlernender Kompressionsmodul jede komplette Demonstration auf weniger als 16 Tokens zusammen, was zu einer Gesamtkürzung des Prompts um rund 93,7 % führt. Damit kann ProtTeX-CC in wenigen Beispielen (16‑Shot) In‑Context‑Learning durchführen, obwohl das ursprüngliche Modell nur Einzelprotein‑Inputs unterstützt. Die Anpassungen erfordern lediglich wenige zusätzliche Parameter und verändern die Kernarchitektur nicht, sodass die Methode schnell einsatzbereit ist und die Generalisierungsfähigkeit von Protein‑LLMs deutlich verbessert.

Die Erzeugung synthetischer Daten ist in datensensiblen und datenarmen Bereichen unverzichtbar, insbesondere für die weit verbreiteten tabellarischen Formate, die in vielen realen Anwendungen eingesetzt werden.

Große Sprachmodelle (LLMs) wie GPT‑4, Gemini und Claude können dank In‑Context‑Learning ohne Feinabstimmung Aufgaben lösen. Diese Bequemlichkeit macht sie für viele Bereiche attraktiv, doch in sensiblen Anwendungen, in denen unterschiedliche Bevölkerungsgruppen gleich behandelt werden müssen, stellt sich die Frage der Gerechtigkeit.

Ein neues arXiv‑Veröffentlichung zeigt, dass Transformer‑Modelle mit In‑Context‑Learning (ICL) nicht nur einfache Funktionen, sondern auch klassische Verschlüsselungen wie monoalphabetische Substitutionen und Vigenère‑Ciphers entschlüsseln können. Durch das Vorlegen einer kleinen Menge an (Verschlüsselung, Klartext)-Paaren lernt das Modell die verborgene bijektive Zuordnung zwischen Buchstaben und kann anschließend neue verschlüsselte Wörter korrekt wiederherstellen.