Neues Verfahren STaR-DRO verbessert robuste Strukturgenerierung in KI

In einer kürzlich veröffentlichten Arbeit auf arXiv wird ein zukunftsweisender Ansatz vorgestellt, der die Herausforderungen der strukturierten Vorhersage in KI-Systemen adressiert. Ziel ist es, Modelle zu entwickeln, die nicht nur ontologie‑konforme Labels erzeugen, sondern auch evidenzbasierte Belege liefern und unter Bedingungen von Mehrdeutigkeit, Label‑Ungleichgewicht und heterogener Gruppendifficulty stabile Strukturen erzeugen.

Der erste Teil des Frameworks ist eine task‑agnostische Prompting‑Strategie. Sie kombiniert XML‑basierte Anweisungsstrukturen, klare Disambiguierungsregeln, prüfungsorientiertes Denken, Schema‑Constraints und Selbstvalidierung. Dadurch werden typische Probleme wie Format‑Drift, Label‑Mehrdeutigkeit, Halluzination von Belegen und Metadaten‑bedingte Verwirrung in der in‑Kontext‑Generierung systematisch reduziert.

Der zweite Teil, STaR‑DRO, ist ein stateful Robust‑Optimization‑Ansatz, der Tsallis‑Mirror‑Descent mit momentum‑geglätteten, zentrierten Gruppen‑Loss‑Signalen kombiniert. Durch begrenzte, ausschließlich über dem neutralen Baseline liegende Multiplikatoren werden nur dauerhaft schwierige Gruppen verstärkt. Dies fokussiert das Lernen dort, wo es am dringendsten benötigt wird, und vermeidet die volatilen, exponentiell gewichteten Reweighting‑Methoden, die häufig zu Instabilität führen.

Die Kombination aus Prompt‑Engineering und STaR‑DRO wurde am EPPC‑Miner‑Benchmark getestet, der hierarchische Labels und Evidenz‑Spans aus sicheren Patienten‑Provider‑Nachrichten extrahiert. Prompt‑Engineering erhöhte die Zero‑Shot‑Leistung um durchschnittlich 15,44 F1‑Punkte über Code, Sub‑Code und Span bei vier Llama‑Modellen. Nach dem supervised fine‑Tuning verbesserte STaR‑DRO die schwierigsten semantischen Entscheidungen: bei Llama‑3.3‑70B‑Instruct stieg der Code‑F1 von 79,24 auf 81,47 und der Sub‑Code‑F1 von 67,78 auf 69,30, während die Span‑Leistung erhalten blieb.