KI News: Kurz und klar.

In einer umfassenden Analyse von 42.820 Herzinsuffizienzpatienten aus Schweden wurden sechs Sequenzmodelle – darunter klassische Transformers, die erweiterte Transformer++ und die neueste Mamba‑Architektur – auf ihre Leistungsfähigkeit bei der Vorhersage von klinischer Instabilität, Mortalität nach der ersten Herzinsuffizienz‑Hospitalisierung und Mortalität nach der letzten Hospitalisierung getestet. Die Modelle wurden mit umfangreichen EHR‑Daten trainiert, die Diagnosen, Vitalparameter, Laborwerte, Medikamente und Verfahren umfassen.

In einer aktuellen Veröffentlichung auf arXiv wird ein neues Konzept vorgestellt, das die Leistungsfähigkeit von KI-Modellen beim logischen Denken auf ein neues Level hebt. Forscher im Bereich des Reinforcement Learning haben gezeigt, dass Modelle wie R1 und o1 ihre Genauigkeit beim Testen steigern, wenn die Länge des Kontextes zunimmt – ein Phänomen, das als „Test‑Time Scaling“ bezeichnet wird.

Eine neue Studie aus dem arXiv‑Repository beleuchtet die bislang wenig verstandene Speicher‑ und Kontext‑Grenzen von Prompt‑Tuning in Transformer‑Modellen. Die Autoren zeigen, dass die Menge an Informationen, die ein Transformer durch ein Prompt speichern kann, höchstens linear mit der Prompt‑Länge wächst. Das bedeutet, dass selbst bei sehr langen Eingaben die Fähigkeit des Modells, Details zu behalten, begrenzt bleibt.

Die neuesten Qwen3‑Modelle – Qwen3‑4B‑Instruct‑2507 und Qwen3‑4B‑Thinking‑2507 – bieten mit einer Kontextlänge von 256 000 Tokens ein enormes Potenzial. Aus diesem Grund hat der Autor beschlossen, eine Retrieval‑Augmented‑Generation (RAG) zu entwickeln, um die enorme Kapazität voll auszuschöpfen. Die Qwen3‑Familie umfasst zudem zahlreiche weitere Varianten, die sich je nach Anwendungsfall eignen. Der Beitrag „RAG mit Qwen3 bauen: So geht's“ erschien auf Analytics Vidhya.