KI News: Kurz und klar.

Relationale Datenbanken bilden das Rückgrat moderner Unternehmen, doch bislang fehlt ihnen ein echtes Foundation-Modell wie in Text- oder Bildverarbeitung. Der Grund liegt in der Seltenheit und dem privaten Charakter hochwertiger RDBs, die eine internetweite Vortrainierung unmöglich machen.

Shapley-Werte sind ein zentraler Bestandteil erklärbarer KI, doch ihre Berechnung ist besonders bei abhängigen Merkmalen rechenintensiv. Traditionell erfordert die Abschätzung vieler bedingter Erwartungen Monte-Carlo-Integration oder Regressionsmodelle, wobei letztere für jedes bedingte Erwartungsmaß neu trainiert werden müssen – ein Prozess, der viel Zeit kostet.

In der Welt der tabellarischen Daten konzentrieren sich die meisten Benchmarks bislang auf die Fähigkeit von Modellen, Werte innerhalb eines Datenraums zu interpolieren. Doch viele wertvolle Anwendungsbereiche – etwa Finanzmodelle oder physikalische Simulationen – beruhen auf deterministischen Berechnungen, bei denen Genauigkeit und Extrapolation entscheidend sind.

Ontologien sind das Rückgrat jeder Wissensstruktur: Sie ermöglichen es, Fachwissen systematisch zu organisieren, zugänglich zu machen und wiederzuverwenden. In spezialisierten Industrien wie der Gießerei­fertigung ist die manuelle Erstellung solcher Ontologien jedoch extrem arbeitsintensiv und kostenaufwendig.

Eine neue Methode namens MapPFN ermöglicht es, die Auswirkungen von gezielten Gen-Interventionen in biologischen Systemen vorherzusagen, ohne dass dafür umfangreiche Trainingsdaten aus jedem möglichen Kontext nötig sind. Das Netzwerk wurde mit synthetischen Daten trainiert, die aus einer prioren Verteilung über kausale Perturbationen generiert wurden, und nutzt anschließend In‑Context‑Learning, um nach einer Intervention die Verteilung der Genexpression zu schätzen – und das ohne Gradient‑Optimierung.

Graph‑Anomalie‑Detection (GAD) gewinnt in sicherheitskritischen Web‑Domänen immer mehr an Bedeutung, weil es hilft, abnormale Knoten zu identifizieren, die von der Mehrheit abweichen. Traditionelle GAD‑Methoden arbeiten jedoch nach dem „Ein‑Modell‑pro‑Datensatz“-Paradigma, was enorme Rechenkosten, hohe Datenanforderungen und eine schlechte Generalisierung bei neuen Graphen mit sich bringt.

In einer wegweisenden Studie wird ein komplett agentenorientierter Ansatz zur Matrixdeflation vorgestellt, der klassische Schwellenwertkriterien überflüssig macht. Dabei arbeitet ein großes Sprachmodell (LLM) als Solver, das schrittweise rank‑1‑Updates der Singulärwertzerlegung (SVD) generiert, während ein Vision‑Language‑Modell (VLM) jedes Update prüft, annimmt oder ablehnt und letztlich entscheidet, wann der Prozess beendet werden soll.

Maskierte Diffusionsmodelle (MDMs) nutzen bidirektionale Aufmerksamkeitsmechanismen und einen Rauschreduktionsprozess, um die Leistungslücke zu autoregressiven Modellen (ARMs) zu schließen. Trotz ihrer Fortschritte blieb die interne Funktionsweise der Aufmerksamkeitsverteilung lange unklar. In der neuen Studie wird das Phänomen des „Attention Floating“ aufgedeckt: Im Gegensatz zu ARMs, bei denen die Aufmerksamkeit auf feste Zielpunkte konvergiert, zeigen MDMs dynamische, verstreute Aufmerksamkeitsanker, die sich über die Denoising‑Schritte und Schichten hinweg verschieben.

Forscher von Google haben ein neues KI-Paradigma entwickelt, das ein zentrales Problem großer Sprachmodelle adressiert: die Unfähigkeit, nach dem Training weiter zu lernen oder Wissen zu aktualisieren.

Ein brandneues arXiv‑Veröffentlichung (ArXiv:2511.15432v1) beleuchtet, wie einzelne Schichten in tabellarischen In‑Context‑Learning‑Modellen (ICL) zur Vorhersage beitragen. Trotz der architektonischen Ähnlichkeit zu großen Sprachmodellen (LLMs) blieb bislang wenig über die Rolle einzelner Layer bekannt.

Moderne Sprachmodelle werden mit riesigen Datensätzen trainiert, die häufig private oder urheberrechtlich geschützte Inhalte enthalten. Angesichts wachsender Datenschutz‑ und Eigentumsbedenken fordern Eigentümer nun die Entfernung ihrer Daten aus den Modellen. Machine‑Unlearning bietet hier eine praktikable Lösung, indem es den Einfluss einzelner Datenpunkte ohne vollständiges Retraining eliminiert.

Die gezielte Gestaltung von Kristallmaterialien mit gewünschten physikalisch‑chemischen Eigenschaften bleibt eine zentrale Herausforderung in der Materialwissenschaft. Während große Sprachmodelle (LLMs) bereits beeindruckende Fähigkeiten im In‑Context‑Learning (ICL) gezeigt haben, beschränken sich bisherige LLM‑basierte Ansätze zur Kristallgenerierung auf Zero‑Shot‑Szenarien und können die Vorteile von Few‑Shot‑Lernen nicht nutzen.

Die klassische CASH-Strategie (Combined Algorithm Selection and Hyperparameter Optimization) hat AutoML-Systeme seit Jahren geprägt. Mit dem Aufkommen vortrainierter Modelle und der Notwendigkeit von Feinabstimmung, Ensembling und anderen Anpassungstechniken hat sich das Problem jedoch deutlich erweitert: Man muss nicht nur den besten Algorithmus finden, sondern auch die passende Pipeline aus einer Vielzahl heterogener Komponenten auswählen und anpassen.

Die neueste Variante von ProtTeX, genannt ProtTeX-CC, löst zwei zentrale Probleme moderner Protein‑LLMs. Durch eine intelligente Kompression, die Sequenz‑ und Strukturdaten auf Residuenebene zusammenführt, wird die Eingabelänge um die Hälfte reduziert, ohne dass die Modellleistung leidet. Anschließend fasst ein selbstlernender Kompressionsmodul jede komplette Demonstration auf weniger als 16 Tokens zusammen, was zu einer Gesamtkürzung des Prompts um rund 93,7 % führt. Damit kann ProtTeX-CC in wenigen Beispielen (16‑Shot) In‑Context‑Learning durchführen, obwohl das ursprüngliche Modell nur Einzelprotein‑Inputs unterstützt. Die Anpassungen erfordern lediglich wenige zusätzliche Parameter und verändern die Kernarchitektur nicht, sodass die Methode schnell einsatzbereit ist und die Generalisierungsfähigkeit von Protein‑LLMs deutlich verbessert.

Die Erzeugung synthetischer Daten ist in datensensiblen und datenarmen Bereichen unverzichtbar, insbesondere für die weit verbreiteten tabellarischen Formate, die in vielen realen Anwendungen eingesetzt werden.

Große Sprachmodelle (LLMs) wie GPT‑4, Gemini und Claude können dank In‑Context‑Learning ohne Feinabstimmung Aufgaben lösen. Diese Bequemlichkeit macht sie für viele Bereiche attraktiv, doch in sensiblen Anwendungen, in denen unterschiedliche Bevölkerungsgruppen gleich behandelt werden müssen, stellt sich die Frage der Gerechtigkeit.

Ein neues arXiv‑Veröffentlichung zeigt, dass Transformer‑Modelle mit In‑Context‑Learning (ICL) nicht nur einfache Funktionen, sondern auch klassische Verschlüsselungen wie monoalphabetische Substitutionen und Vigenère‑Ciphers entschlüsseln können. Durch das Vorlegen einer kleinen Menge an (Verschlüsselung, Klartext)-Paaren lernt das Modell die verborgene bijektive Zuordnung zwischen Buchstaben und kann anschließend neue verschlüsselte Wörter korrekt wiederherstellen.