Kamerabasiertes Hand Tracking und Gestenerkennung auf und über interaktiven Oberflächen

Im Verbundprojekt VIGITIA (https://vigitia.de/) untersuchen die Projektpartner, wie projizierte erweiterte Realität (projected augmented reality / PAR) Alltagsinteraktionen rund um Tische unterstützen und bereichern kann.

Bei PAR nehmen eine oder mehrere Kameras in Echtzeit die Tischoberfläche und darauf befindliche Objekte auf. Ein an der Decke oder an einem Schwenkarm befestigter Projektor kann dadurch millimetergenau und ohne Verzerrungen auf die Tischplatte bzw. die Objekte projizieren. Dies erlaubt es, zusätzliche Informationen und Interaktionsmöglichkeiten zu den Objekten einzublenden und analoge Arbeitsprozesse zu unterstützen.

Die Interaktion mit dem System ließe sich z.B. durch eine Touch-Erkennung ermöglichen.

Ziel der Arbeit ist es, Touch- Events auf einem alltäglichen Tisch zu erkennen, ohne den Tisch selbst oder die am Tisch anwesenden Personen mit zusätzlichen Sensoren zu versehen. D.h. die Erkennung soll ausschließlich über eine (oder mehrere) über dem Tisch montierte (Tiefen-)Kameras erfolgen (Microsoft Azure Kinect oder Intel Realsense D435).

Mit Hilfe des MediaPipe Frameworks von Google (https://google.github.io/mediapipe/solutions/hands.html) sollen in einem ersten Schritt Landmarkenpunkte wie Fingerspitzen in einem RGB-Bild gefunden werden. Diese Informationen sollen dann mit Hilfe eines Tiefenbildes ergänzt werden, um für jeden relevanten Landmarkenpunkt den Abstand zur Kamera zu erhalten. Über ein zuvor erstelltes Modell der Tischoberfläche kann so der Abstand jedes Punktes zur Tischplatte errechnet werden. Dies ermöglicht die Erkennung von Touch Events.

In einem nächsten Schritt können nun noch die erkannten Landmarkenpunkte dazu genutzt werden um Gesten auf oder über der Tischplatte zu erkennen.

Nach Absprache mit dem Betreuer.

Keine

Nach Absprache mit dem Betreuer.