Neue Auswahltheoreme beweisen: Vorhersagefähige Zustände sind Agenten unerlässlich

In einer kürzlich veröffentlichten Arbeit auf arXiv werden neue Auswahltheoreme vorgestellt, die zeigen, dass künstliche Agenten, die unter Unsicherheit zuverlässig handeln wollen, zwingend eine vorhersagefähige interne Struktur benötigen. Die Ergebnisse schließen die Lücke zwischen klassischen Resultaten, die lediglich die Implementierung von Kontrollstrategien mit Glaubenszuständen oder Weltmodellen erlauben, und der Frage, ob solche Darstellungen tatsächlich erforderlich sind.

Die Autoren beweisen quantitative Auswahltheoreme, die besagen, dass ein niedriger durchschnittlicher Regretwert bei strukturierten, auf Aktionen konditionierten Vorhersageaufgaben einen Agenten dazu zwingt, eine strukturierte, prädiktive interne Zustandsrepräsentation zu implementieren. Dabei wird nicht von optimalen, deterministischen oder modellbasierten Strategien ausgegangen.

Die Resultate gelten für stochastische Politiken, teilweise beobachtbare Umgebungen und die Bewertung unter Aufgabenverteilungen. Durch die Reduktion von prädiktivem Modellieren auf binäre „Wett“-Entscheidungen zeigen die Autoren, dass Regretgrenzen die Wahrscheinlichkeit suboptimaler Wetten einschränken und damit die notwendigen prädiktiven Unterscheidungen erzwingen, die hohe Gewinnmargen ermöglichen.

In vollständig beobachtbaren Szenarien ermöglicht dies eine annähernde Rekonstruktion des interventionalen Übergangskernels. Unter partieller Beobachtbarkeit folgt daraus, dass ein glaubensähnlicher Speicher und ein prädiktiver Zustand unverzichtbar sind – eine offene Frage in früheren Arbeiten zur Wiederherstellung von Weltmodellen beantwortet.