DotTrack: absolute optische Positionserkennung für Tangible User Interfaces

Hintergrund

Für viele Anwendungsfälle ist es sinnvoll, Tangibles auf einer Tischoberfläche tracken zu können. Beispielsweise können damit Kinder beim Lernen von Wörtern unterstützt werden (Winkler et al., 2013). Kapazitive oder induktive Trackingverfahren sind hier nicht praktikabel. Optische Outside-In-Trackingverfahren sind nicht praktikabel, weil die Nutzer die Tangibles immer wieder bei der Interaktion verdecken. Inside-Out-Trackingverfahren, bei denen das Tangible seine eigene Position auf der Tischoberfläche erkennt, sind daher wichtig.

Zielsetzung der Arbeit

Ziel der Abschlussarbeit ist, ein Trackingverfahren zu entwickeln, prototypisch zu implementieren, und zu evaluieren, das auf gedruckten Punktmustern basiert. Das Punktmuster-Tracking soll ähnlich wie bei Anoto-Stiften funktionieren, allerdings mit deutlich niedrigerer Sensor-Auflösung zurechtkommen. Konkret soll ein Prototyp auf Basis eines M5Stack-Moduls und eines PMW3360-Maussensors implementiert und evaluiert werden. Vor einer Implementierung auf dem Microcontroller soll das Trackingverfahren auf dem PC simuliert und optimiert werden.

Konkrete Aufgaben

(Wenn das Thema als Bachelorarbeit bearbeitet wird, müssen bestimmte Teilschritte nicht umgesetzt werden).

Recherche und Zusammenfassung des Stands der Forschung (2 Wochen)

Einarbeiten in M5Stack / ESP32 als Basisplattform (verwendet das Arduino-Framework) (1 Woche)

Entwickeln einer Kodierung für Ortsinformationen, die vom zu verwendenden Sensor erkannt werden kann (1 Woche)

Verifizierung der Effizienz und Effektivität des Kodierungsverfahrens durch Simulation des Algorithmus (1-2 Wochen)

Implementierung des Algorithmus auf dem M5Stack-Modul (1 Woche)

Verbessern des Algorithmus, Kombination mit relativem Tracking durch den Maus-Sensor (1-2 Wochen)

Implementierung einer schönen und sinnvollen Demo-Anwendung (1-2 Wochen)

Evaluierung der Implementierung unter realistischen Bedingungen (2 Wochen)

Schreiben der Ausarbeitung (2-4 Wochen)

Erwartete Vorkenntnisse

Grundkenntnisse Microcontroller-Programmierung (C)

Grundkenntnisse Informationstheorie, Kodierung

Grundkenntnisse digitale Schaltungen

sinnvoll: Grundkenntnisse Computer Vision

sinnvoll: Grundkenntnisse Python

Weiterführende Quellen

Projektseite zu DotTrack mit weiteren Informationen

Bruckstein et al. (2011) Simple and robust binary self-location patterns

Berkowitz & Kopparty (2015) Robust positioning patterns

Hostettler et al. (2016) Real-Time High-Accuracy 2D Localization with Structured Patterns

Optische Trackingverfahren, die Punktmuster verwenden:

Anoto (siehe z.B. dieses Patent)

Neopen

OID (Ravensburger TipToi), siehe https://github.com/entropia/tip-toi-reveng/wiki/OID-(Optical-ID)-and-codes

https://math.stackexchange.com/questions/281203/largest-binary-sequence-with-no-more-than-two-repeated-subsequences

Sony TOIO

Winkler et al. (2013) SpelLit – Tangible Cross-DeviceInteraction beim Erlernen von Lesen und Schreiben