DS-IA: Dual-Stage-Framework erhöht Sicherheit und Effizienz von LLM-gesteuerten Homes

Large Language Models (LLMs) werden zunehmend zu aktiven Agenten im Internet der Dinge. Dabei treten jedoch gravierende Probleme auf: Befehle, die von LLMs generiert werden, führen häufig zu Halluzinationen – etwa dem Versuch, nicht vorhandene Geräte zu steuern. Gleichzeitig leiden bestehende Interaktionsframeworks wie SAGE unter dem sogenannten Interaction Frequency Dilemma, das zwischen unüberlegtem Ausführen und übermäßiger Nutzerabfrage schwankt.

Um diese Herausforderungen zu meistern, wurde das Dual-Stage-Intent‑Aware (DS‑IA) Framework entwickelt. In der ersten Phase fungiert ein semantischer Firewall-Mechanismus als Filter, der ungültige Anweisungen erkennt und vage Befehle durch Abgleich mit dem aktuellen Zustand des Hauses klärt. Die zweite Phase nutzt einen deterministischen Cascade‑Verifier, der Schritt für Schritt Raum, Gerät und Fähigkeit prüft, um sicherzustellen, dass die gewünschte Aktion tatsächlich physisch möglich ist, bevor sie ausgeführt wird.

Ergebnisse aus umfangreichen Tests auf den Benchmarks HomeBench und SAGE zeigen, dass DS‑IA einen Exact‑Match‑Wert von 58,56 % erreicht – ein Plus von über 28 % gegenüber bisherigen Baselines – und die Ablehnungsrate für ungültige Anweisungen auf 87,04 % steigert. Auf dem SAGE‑Benchmark demonstriert das System zudem, dass es das Interaction Frequency Dilemma löst, indem es proaktive Abfragen mit zustandsbasierten Inferenzen ausbalanciert und damit die autonome Erfolgsrate deutlich erhöht.