Erweiterung von AIXI: Nutzenberechnung trotz Unsicherheit in KI

In einer neuen Veröffentlichung erweitern Forscher den AIXI-Agenten, das führende Modell für universelles Reinforcement Learning, um eine viel breitere Palette von Nutzenfunktionen zu berücksichtigen. Durch die Zuordnung eines Nutzens zu jeder möglichen Interaktionsgeschichte entsteht ein neues Problem: Einige Hypothesen in der Glaubensverteilung des Agenten können nur einen endlichen Präfix der Geschichte vorhersagen. Dieser Umstand wird häufig als „Todeswahrscheinlichkeit“ interpretiert und mit dem sogenannten Semimeasure‑Loss in Verbindung gebracht.

Die Autoren schlagen vor, die Glaubensverteilungen nicht als exakte Wahrscheinlichkeiten, sondern als unpräzise (imprecise) Wahrscheinlichkeiten zu behandeln. In diesem Rahmen steht der Semimeasure‑Loss für totale Unwissenheit. Diese Sichtweise motiviert die Berechnung von Erwartungswerten mithilfe von Choquet‑Integralen aus der Theorie der unpräzisen Wahrscheinlichkeiten und untersucht zugleich deren Berechenbarkeit.

Ein interessanter Nebenerfolg der Arbeit ist die Wiederherstellung der klassischen rekursiven Wertfunktion als Spezialfall dieser erweiterten Berechnung. Gleichzeitig zeigen die Autoren, dass die allgemeinsten Erwartungswerte unter der Todesinterpretation nicht mehr als Choquet‑Integrale dargestellt werden können, was neue theoretische Grenzen aufzeigt.