Augmenting a Physical Desk with the Sketchable Interaction Concept

Hintergrund: Sketchable Interaction [1] ist ein neuartiges Interaktionskonzept für Desktopumgebungen, dass es Benutzenden erlaubt sich die User Interfaces für ihre Aufgaben anhand deren Anforderungen und ihren individuellen Präferenzen zu erstellen. Dies geschieht durch das freie Zeichnen von interaktiven Regionen, die miteinander in Wechselwirkung treten, sobald sie überlappen. Das wird als Effektanwendung bezeichnet. Anhand von Pythonplugins kann der bisherige Funktionsumfang von Sketchable Interaction anhand einer API mit neuen Effekten erweitert werden, die dann wiederrum anhand von Überlappungen von Benutzenden ausgelöst werden können.

Problemstellung: Durch die Augmentierung (PAR - Projected Augmented Reality) eines herkömmlichen, phyischen Tisches [3] mit dem Sketchable Interaction Konzept ergeben sich neue Möglichkeiten, inwiefern physische und digitale Artefakte miteinander in Wechselwirkung treten können [4]. Physische Artefakte, wie zum Beispiel, Papier [5], Stempel, Kaffeetassen aber auch Hände und Finger, können anhand einer Tracking-Architektur durch interaktive Regionen im Kontext von Sketchable Interaction repräsentiert werden. Dies ermöglicht es, dass diese phyischen Objekte jeweils mit einem Effekt ausgestattet werden können. Damit können sie mit rein digitalen interaktiven Regionen überlappen und Effekte auslösen.

Im Rahmen dieser Masterarbeit soll erarbeitet werden, welche interaktionellen Chancen und Probleme das Hinzufügen einer physischen Interaktionsmodalität via PAR im Verbund mit dem Konzept Sketchable Interaction birgt. Es soll herausgefunden werden, welche Interaktiontechniken sich gut auf phyische Objekte übertragen lassen und welche nicht. Außerdem soll untersucht werden, wie sich Benutzende den verfügbaren Platz am Tisch zwischen physischen und digitalen Objekten aufteilen bzw. wie sich eine Symbiose beider Welten praktisch als Co-existenz niederschlägt.

• Aufbereitung von Literatur zum Thema (2 Wochen)
• PAR-Versuchsaufbau mit einem Tisch, Kameras und Beamer (2 Wochen)
• Erstellung eines Machine-Learning-Models zum Tracken von physischen Objekten (Finger, Hände, Papierdokumente, etc.) (4 Wochen)
• Implementierung eines Tracker-Daemons anhand des TUIO2-Protokolls [2] (https://www.tuio.org/?tuio20) (2 Wochen)
• Implementierung geeigneter Plugins für Sketchable Interaction, um phyische Objekte mit konkreten Interaktionstechniken zu versehen, z.B.: (4 Wochen)
  • Finger für Selection, Dragging anderer Regionen oder Zeichnen von neuen Regionen, etc.
  • Hände für Authentisierung, Gruppierung von Regionen, etc.
  • Papier zum Speichern eines digitalen Zwilling, Verschicken per Email, etc.
• Evaluation von Interaktionstechniken und Physical-Digital-Co-existence (3 Wochen)
• Schriftliche Ausarbeitung (3 Wochen)

• Programmierkenntnisse in Python
• Praktische Anwendung von Machine/Deep Learning Architekturen
• Interaktionstechniken
• Usability Testing
• Von Vorteil: Programmierkenntnisse in C++

[1] Hahn, J., Wimmer, R. (2020). Sketchable Interaction - End-User Customization via Interactive Regions. LIVE Programming Workshop 2020 collocated with SPLASH2020. https://2020.splashcon.org/details/live-2020-papers/6/Sketchable-Interaction-End-User-Customization-via-Interactive-Regions (Link zu einem Talk, der Sketchable Interaction im Einsatz zeigt)

[2] Martin Kaltenbrunner and Florian Echtler. 2018. The TUIO 2.0 Protocol: An Abstraction Framework for Tangible Interactive Surfaces. Proc. ACM Hum.-Comput. Interact. 2, EICS, Article 8 (June 2018), 34 pages. https://doi.org/10.1145/3229090

[3] Wimmer, R., & Echtler, F. (2019). VIGITIA: Unterstützung von alltäglichen Tätigkeiten an Tischen durch Projected AR. https://doi.org/10.18420/muc2019-ws-620

[4] Xiao, R., Hudson, S., & Harrison, C. (2017). Supporting Responsive Cohabitation Between Virtual Interfaces and Physical Objects on Everyday Surfaces. Proceedings of the ACM on Human-Computer Interaction, 1(1), 1–17. https://doi.org/10.1145/3095814

[5] Wellner, P. (1993). Interacting with Paper on the DigitalDesk. Communications of the ACM, 36(7), 87–96. https://doi.org/10.1145/159544.159630