Amazon Nova: Rubrikbasierter LLM-Judge für KI-Modelle auf SageMaker (Teil 2)

In diesem Beitrag beleuchten wir die neue Rubrik-basierte Bewertungsfunktion von Amazon Nova. Dabei geht es darum, wie ein LLM als „Judge“ fungiert, welche Metriken dabei eine Rolle spielen und wie man die Bewertung anpasst.

Ein rubric‑basierter Judge ist ein Sprachmodell, das anhand einer vordefinierten Bewertungsrubrik – also einer Liste von Kriterien und Punktwerten – die Qualität von Textausgaben beurteilt. Statt einer einfachen Ja‑/Nein‑Antwort liefert das Modell eine detaillierte Bewertung, die leicht in weitere Analysen einfließen kann.

Die Trainingsphase erfolgt in mehreren Schritten: Zunächst werden Beispielantworten von menschlichen Experten mit den Rubrikkriterien versehen. Anschließend wird das LLM auf dieser annotierten Datenbasis feinjustiert, sodass es die gleichen Bewertungsmaßstäbe anwendet. Amazon SageMaker übernimmt dabei die Skalierung und das Management der Trainingsjobs.

Wichtige Metriken sind die Genauigkeit der Rubrikpunkte, die Konsistenz zwischen verschiedenen Prüfern und die Reproduzierbarkeit der Ergebnisse. Durch die Analyse dieser Kennzahlen lässt sich die Zuverlässigkeit des Judges quantitativ bewerten.

Die Kalibrierung des Judges erfolgt, indem man die Modellantworten mit einer Kontrollgruppe von menschlichen Bewertungen vergleicht und bei Bedarf die Gewichtung der Rubrikkriterien anpasst. So wird sichergestellt, dass die automatisierte Bewertung den Erwartungen der Fachwelt entspricht.

Im beigefügten Notebook finden Sie den vollständigen Code, mit dem Sie die Amazon Nova‑Rubrik‑basierte LLM‑Judge‑Methodik anwenden können. Damit lassen sich die Ausgaben zweier unterschiedlicher LLMs vergleichen, indem Sie SageMaker‑Trainingsjobs ausführen und die Ergebnisse anhand der Rubrik bewerten.