Neuro-Symbolisches System verbindet Wahrnehmung und Planung trotz Unsicherheit

Ein neues neuro-symbolisches Framework schafft die Brücke zwischen kontinuierlicher Wahrnehmung und diskreter symbolischer Planung – ein entscheidender Fortschritt für KI-Systeme, die unter Unsicherheit arbeiten müssen. Das System kombiniert ein transformerbasiertes Front‑End für die Bildverarbeitung mit Graph Neural Networks (GNN), um aus visuellen Beobachtungen probabilistische symbolische Zustände zu extrahieren. Anschließend nutzt ein Unsicherheits‑sensibler Planner diese Zustände, sammelt aktiv zusätzliche Informationen, wenn das Vertrauen niedrig ist, und trifft Entscheidungen auf Basis kalibrierter Wahrscheinlichkeiten.

In einer Demonstration mit Tischmanipulationsaufgaben verarbeitete der Translator 10.047 von PyBullet generierte Szenen mit 3 bis 10 Objekten und erreichte einen F1‑Score von 0,68. Eingebettet in den Planner erzielte das System beeindruckende Erfolgsraten von 94 %, 90 % und 88 % bei den Benchmarks Simple Stack, Deep Stack und Clear+Stack – ein durchschnittlicher Erfolg von 90,7 %. Damit übertrifft es die stärkste POMDP‑Baseline um 10 bis 14 Punkte, während die Planung in weniger als 15 ms abgeschlossen wird.

Eine Analyse mit probabilistischen grafischen Modellen liefert quantitative Belege dafür, wie kalibrierte Unsicherheit die Konvergenz des Planers beeinflusst, und bietet theoretische Garantien, die durch Experimente bestätigt wurden. Das Framework ist generisch einsetzbar und eignet sich für jede Domäne, die eine Unsicherheits‑bewusste Abbildung von Wahrnehmung zu symbolischer Planung erfordert.