Agent lernt dynamisch, wann er zwischen Strategien wechselt – RL

In der Robotik und KI ist es oft nötig, mehrere Vorgehensweisen zu kombinieren, um komplexe Aufgaben zu lösen. Das neue Verfahren nutzt Reinforcement Learning, um genau zu bestimmen, wann ein autonomer Agent zwischen zwei völlig unterschiedlichen Navigationsstrategien wechseln soll. Dabei wird die Entscheidung nicht durch feste Schwellenwerte, sondern durch ein lernendes Q‑Learning-Modell getroffen.

Der Ansatz wurde anhand von Labyrinthen getestet, wobei der Agent zwischen systematischer Erkundung (Coverage) und zielgerichtetem Pfadfinden (Convergence) wechselt. Er benötigt lediglich die Größe des Labyrinths und die Zielposition – keine Kenntnis über Wände, optimale Schwellenwerte oder handgefertigte Heuristiken. Durch die Diskretisierung von Zuständen in Coverage‑ und Distanz‑Buckets passt das Modell dynamisch die Coverage‑Schwelle (zwischen 20 % und 60 %) an, basierend auf dem aktuellen Fortschritt.

In 240 Testkonfigurationen – 4 Labyrinthgrößen von 16 × 16 bis 128 × 128, jeweils 10 einzigartige Labyrinthe und 6 Agentvarianten – zeigte sich, dass das adaptive Schwellenwertlernen die Leistung deutlich steigert. Im Vergleich zu Agenten mit einer einzigen Strategie und zu einem festen 40 %‑Schwellenwert verbesserte sich die Durchführungszeit um 23 % bis 55 %, die Laufzeitvarianz sank um 83 % und die schlechtesten Fälle verbesserten sich um 71 %. Die erlernten Wechselstrategien generalisieren zudem zuverlässig innerhalb jeder Größenklasse.