Fast and Robust Detection of Touch Input on Projected Interactive Surfaces Using an Event Camera

Kamerabasiertes Tracking von Handbewegungen und Objekten ist rechnerisch sehr aufwendig, da immer ganze Bilder analysiert werden müssen. Event-Kameras sind eine spezielle Klasse von Kameras, bei denen die Bilddaten nicht frame-basiert übertragen werden. Stattdessen emittiert jeder Pixel einen Event sobald sich die auf ihn fallende Lichtstrahlung ändert. Der Event ist mit einem Zeitstempel und der Polarität 0 oder 1 der Änderung (heller oder dunkler) versehen. Dadurch fließen nur dann Daten von der Kamera zum Rechner, wenn sich etwas im Bild ändert. Die Übertragung geschieht asynchron und mit sehr niedriger Latenz. Im Bezug auf Tracking und Computer Vision könnte gerade die geringe Latenz und der geringe Rechenaufwand eine bessere und als natürlicher empfundene Interaktion mit projizierten Inhalten an einem Tisch bieten.

Ziel der Arbeit ist, ein System zu implementieren, das Touches auf der Tischoberfläche mittels einer Event-Kamera schnell und robust erkennt. Anwendungskontext ist die Interaktion an einem Tisch, auf den Informationen projiziert werden. Dazu muss die schnelle Bewegung der Fingerspitze zuverlässig identifiziert werden und vom projizierten Bildinhalt getrennt werden. Die Position der Fingerspitze soll als Maus-Event für beliebige Anwendungen zur Verfügung gestellt werden.

• Recherche Literatur, Überblick über Verfahren zum Tracking von Objekten / Händen mittels Event-Kameras (1 Woche)
• Implementierung der Touch-Erkennung (2 Wochen)
• Filtern des projizierten Bildes durch Analyse der Bildfrequenz und -phase (2 Wochen)
• Iterative Verbesserung und Benchmarking des Verfahrens (2 Wochen)
• Schreiben der Bachelorarbeit (2 Wochen)

• Grundkenntnisse Computer Vision
• Solide Programmierkenntnisse in Python und/oder C

• https://arxiv.org/abs/2304.06534
• https://fraunhoferhhi.github.io/X-maps/
• https://www.prophesee.ai/
• https://openaccess.thecvf.com/content/CVPR2023W/EventVision/papers/Page_Live_Demonstration_Integrating_Event_Based_Hand_Tracking_Into_TouchFree_Interactions_CVPRW_2023_paper.pdf