Adjudicator: Labels korrigiert dank Wissensgraph und LLM‑Council

In der Produktion von Machine‑Learning‑Systemen ist die Qualität der Trainingsdaten entscheidend. Fehlerhafte Labels können die Leistung stark beeinträchtigen und das Vertrauen der Nutzer untergraben. Das neue System Adjudicator löst dieses Problem, indem es fehlerhafte Labels automatisch erkennt und korrigiert – und das bereits in einer produktionsnahen Umgebung getestet.

Adjudicator kombiniert neuronale und symbolische Ansätze: Zunächst wird ein dynamischer Wissensgraph erstellt, der sämtliche Kontextinformationen zu den Datenpunkten zusammenführt. Dieser Graph dient als Grundlage für einen „Council of Agents“, ein neuartiges Multi‑Agenten‑Modell, bei dem spezialisierte Large‑Language‑Modelle (LLMs) über die Richtigkeit eines Labels diskutieren und abstimmen. Durch die Nutzung des Wissensgraphen kann das System komplexe, strukturelle Fehler exakt identifizieren und korrigieren.

Die Leistungsbewertung erfolgte an einem ausgewogenen Teil des AlleNoise‑Benchmarks mit 1.000 Einträgen. Adjudicator erreichte einen F1‑Score von 0,99 – deutlich besser als die 0,48 des einzelnen LLM‑Baselines und die 0,59 des Baselines ohne Wissensgraph. Der hohe Wert resultiert aus einer Kombination von exzellenter Präzision und vollständiger Rückrufrate, die durch eine spezielle Überschreibungslogik ermöglicht wird. Das Ergebnis demonstriert ein robustes, erklärbares System für die automatisierte, hochpräzise Datenverifikation und liefert einen überzeugenden Proof‑of‑Concept für die Erstellung von Gold‑Datensätzen in streng regulierten Industrieumgebungen.