Systematischer Vergleich von Methoden zum Bestimmen der Rotation eines De-Brujin-basierten Tracking-Patterns

Hintergrund

Tangible Blocks sind kleine, greifbare Objekte, die als Eingabegeräte für Computersysteme oder physische Repräsentation von digitalen Daten verwendet werden können. Nutzer können sie bewegen, drehen, zusammenlegen oder stapeln um auf eine intuitive Art und Weise mit Computern zu interagieren.

Für viele Anwendungen mit Tangible Blocks ist es notwendig, die Position derer auf einer Oberfläche und die relative Position mehrerer Tangibles zueinander zu kennen. Dazu können verschiedene Tracking-Methoden verwendet werden. Beim Outside-in-Tracking wird auf eine externe, oft kamerabasierte Trackinginfrastruktur zurückgegriffen - ein prominentes Beispiel dafür sind die Lighthouses der HTC Vive. Für Tangible Blocks ist dieses Verfahren weniger gut geeignet, da die Tangibles oft durch die Hände von Nutzer:innen verdeckt werden. Deshalb wird für Tangible Blocks häufig auf Inside-out-Tracking zurückgegriffen, bei dem ein im Tangible verbauter Sensor die Position bestimmt.

Im Projekt DotTrack [1, 2, 3, 4] der Nachwuchsforschungsgruppe Physical-Digital Affordances wurde ein Inside-out-Tracking-Verfahren entwickelt, bei dem die Position von Tangibles über einen im Tangible verbauten Maussensor bestimmt wird, der ein Punktmuster (De-Brujin-Pattern) auf einer Oberfläche erkennt, welches die Position codiert. Das Verfahren ist mit einer Sampling-Rate von etwa fünf Positionen pro Sekunde und einer Erfolgsrate von über 95% gut geeignet um die Position von Tangibles zu bestimmen, jedoch müssen die Tangible dafür entlang des Punktmusters ausgerichtet sein.

Um auch die Rotation zu bestimmen, müsste diese über das Rohbild des Sensors berechnet werden. Da dieser Sensor eine sehr geringe Auflösung von 36×36 Pixeln hat, schlagen viele herkömmliche Methoden zum Bestimmen der Rotation, beispielsweise Hough Lines, fehl.

Zielsetzung der Arbeit

Ziel dieser Arbeit ist ein Vergleich verschiedener Verfahren zum bestimmen der Rotation eines Punktmusters mit niedriger Auflösung. Dazu sollen sowohl bekannte Verfahren aus der Computer Vision, als auch Machine-Learning-Ansätze, anhand ihrer Verarbeitungszeit und Erfolgrate verglichen werden.

Um diese Arbeit in den Kontext des Projekts DotTrack einzugliedern, sollen die gewählten Verfahren mit einem Datensatz evaluiert werden, der mit der von DotTrack verwendeten Hardware aufgenommen wird. Zudem soll anhand eines selbst generierten Datensatzes aus Punktmustern mit verschiedenen Auflösungen evaluiert werden, bis zu welcher minimalen Auflösung die Verfahren sinnvoll einsetzbar sind.

Konkrete Aufgaben

Einarbeiten in das DotTrack-Projekt (1 Woche)

Aufbereiten des Themas, Literaturrecherche (2 Wochen)

Proof of Concept (1 Woche)

Implementieren verschiedener Verfahren zur Rotationsbestimmung (2 Wochen)

Aufnehmen des Datensatzes und Auswertung (1 Woche)

Vervollständigen der schriftlichen Ausarbeitung (2 Wochen)

Erwartete Vorkenntnisse

Grundlagen Computer Vision

Grundlagen Machine Learning

Bereitschaft, sich selbstständig in eine kompexe Thematik einzuarbeiten

Auswertung quantitativer Daten

Weiterführende Quellen

[1] https://hci.ur.de/projects/dottrack

[2] Schüsselbauer, D. (2019). DotTrack: absolute optische Positionserkennung von Tangible User Interfaces. Bachelorarbeit am Lehrstuhl für Medieninformatik.

[3] Schüsselbauer, D., Schmid, A., Wimmer, R., & Muth, L. (2018). DotTrack: Absolute und relative Ortsbestimmung von Tangibles mittels eines Maussensors. Gesellschaft für Informatik e.V. https://doi.org/10.18420/muc2018-ws05-0500

[4] Schüsselbauer, D., Schmid, A., Wimmer, R. (2021). Dothraki: Tracking Tangibles Atop Tabletops Through De-Bruijn Tori. Akzeptiert für TEI'21.