JAF: Der neue Judge Agent Forest – KI bewertet gemeinsam statt einzeln

In der neuesten Veröffentlichung auf arXiv (2601.22269v1) wird das Konzept des Judge Agent Forest (JAF) vorgestellt, das die Rolle des Bewertungsagenten in KI-Systemen revolutioniert. Statt einzelne Antwortpaare isoliert zu prüfen, führt der Judge Agent in JAF eine gemeinsame Inferenz über eine Gruppe von Query–Response-Paaren durch, die von einem primären Agenten generiert wurden.

Durch die gleichzeitige Bewertung verwandter Antworten erkennt der Judge Agent Muster und Inkonsistenzen über mehrere Instanzen hinweg. Diese ganzheitliche Sicht ermöglicht es dem primären Agenten, seine eigenen Ausgaben aus der Perspektive eines kollektiven Lernprozesses zu betrachten und dadurch seine Argumentationsprozesse iterativ zu verfeinern.

JAF verbindet Prinzipien der Glaubenspropagation mit Ensemble-Learning: Überlappende in‑Context-Nachbarschaften bilden ein Wissensgraphen, der die Weitergabe von Kritik erleichtert. Durch wiederholte, randomisierte Bewertungen entsteht ein robustes Ensemble kontextsensitiver Urteile. Die Implementierung erfolgt vollständig über In‑Context-Learning, wobei der Judge Agent für jede Anfrage mit der zugehörigen primären Antwort und einer kleinen, potenziell verrauschten Auswahl an Peer-Beispielen angeregt wird.

Um die Auswahl der Exemplare zu optimieren, wird ein flexibler locality‑sensitive hashing (LSH)-Algorithmus eingesetzt, der informative Binärcodes unter Einbeziehung semantischer Einbettungen, LLM‑gestützter Hash‑Prädikate und zusätzlicher Supervision erlernt. Damit überwindet JAF die Beschränkungen herkömmlicher kNN‑Ansätze, die oft die kategoriale Struktur, Domain‑Metadaten oder feine Unterscheidungen vernachlässigen, und nutzt die volle Leistungsfähigkeit moderner Large Language Models.