CNN erkennt dynamische LIBRAS-Gesten in Echtzeit – 95 % Genauigkeit

In einer neuen Studie wird ein innovativer Ansatz vorgestellt, der die Erkennung von dynamischen Handgesten in der brasilianischen Gebärdensprache (LIBRAS) ermöglicht. Der Kern des Systems besteht aus zwei Modulen: Zunächst extrahiert der MediaPipe Hand Landmarker 21 Gelenkpunkte der Hand, die anschließend in eine spatiotemporale Matrix mit den Abmessungen 90 × 21 überführt werden. Auf dieser Matrix trainiert ein Convolutional Neural Network (CNN) die Klassifikation der Gesten.

Die Methode wurde speziell für die Steuerung von Smart‑Home‑Geräten entwickelt und umfasst 11 Gestenklassen, die sowohl statische als auch dynamische Bewegungen abdecken. Durch die Kombination aus präziser Gelenkverfolgung und leistungsfähigem CNN kann das System die Vielfalt der LIBRAS‑Gesten zuverlässig erfassen.

Für die Echtzeit‑Inference nutzt das System ein gleitendes Fenster mit dreifacher Zeitreihen‑Triplication. Diese Technik erlaubt eine kontinuierliche Erkennung, ohne dass rekurrente Netzwerke erforderlich sind, was die Rechenlast reduziert und die Latenz minimiert.

In Testläufen erreichte das System unter schlechten Lichtverhältnissen eine Genauigkeit von 95 % und unter normalen Beleuchtungsbedingungen 92 %. Die Ergebnisse zeigen, dass der Ansatz vielversprechend ist, weisen jedoch darauf hin, dass weitere systematische Experimente mit einer größeren Nutzerbasis nötig sind, um die Generalisierbarkeit des Modells vollständig zu bewerten.