Neues fNIRS‑Dataset ermöglicht neuronale Rückmeldung für Reinforcement Learning

In einem wegweisenden Beitrag zur Reinforcement Learning from Human Feedback (RLHF) wird gezeigt, wie passive Brain‑Computer‑Interfaces (BCI) genutzt werden können, um Agenten aus impliziten Gehirnsignalen zu trainieren. Das neue Forschungsprojekt liefert ein umfangreiches fNIRS‑Datenset, das von 25 Personen in drei unterschiedlichen Szenarien – einem Pick‑and‑Place‑Roboter, dem Lunar Lander und dem Spiel Flappy Bird – erhoben wurde.

Die Autoren trainierten Klassifikatoren, die anhand von fNIRS‑Feature‑Vektoren die Leistungsstufe eines Agenten (optimal, sub‑optimal oder schlechteste Leistung) vorhersagen. Für die binäre Klassifikation erreichten sie einen durchschnittlichen F1‑Score von 67 % und für die Mehrklassen‑Aufgabe 46 %. Zusätzlich entwickelten sie Regressoren, die die Abweichung eines Agentenverhaltens von nahezu optimalen Strategien kontinuierlich messen.

Ein Schwerpunkt lag auf der Übertragbarkeit zwischen den Probanden. Durch das Feintuning vortrainierter Modelle mit nur wenigen, pro Subjekt spezifischen Daten konnten die F1‑Scores um 17 % bei der binären und um 41 % bei der Mehrklassen‑Aufgabe gesteigert werden. Diese Ergebnisse demonstrieren, dass fNIRS‑Signale zuverlässig mit Agentenleistung korrelieren und weiter optimiert werden können.

Die Studie legt damit die Grundlage für zukünftige brain‑driven RLHF‑Systeme, bei denen neuronale Rückmeldungen direkt in den Trainingsprozess von KI-Agenten einfließen. Der Ansatz eröffnet neue Möglichkeiten, menschliche Präferenzen auf einer tieferen, neurobiologischen Ebene zu berücksichtigen und KI‑Verhalten noch präziser zu steuern.