Reproduzierte Realität - Exploration und Evaluation von Projected-Augmented-Reality-Overlays auf Objekte

Augmented Reality beschreibt die Überlagerung der realen Umgebung mit virtuellen Informationen/Objekten. Diese Überlagerung kann entweder auf einem Display passieren oder durch Projektion virtueller Objekte auf die reale Umgebung. Ein bisher kaum verfolgter Ansatz ist, modifizierte Bilder/Videos eines Objekts deckungsgleich wieder auf dieses selbst zu projizieren, um bestimmte Effekte erzielen zu können.

Im Rahmen des Forschungsprojekts VIGITIA (https://vigitia.de/) wird untersucht, wie projizierte erweiterte Realität (projected augmented reality / PAR) Alltagsinteraktionen rund um Tische unterstützen und bereichern kann. Bei PAR nehmen eine oder mehrere Kameras in Echtzeit die Tischoberfläche und darauf befindliche Objekte auf. Ein an der Decke befestigter Projektor ermöglicht die Projektion auf die Tischplatte bzw. die Objekte. Dies erlaubt es, zusätzliche Informationen und Interaktionsmöglichkeiten zu den Objekten einzublenden und analoge Arbeitsprozesse zu unterstützen.

Das Potential von Projected-Augmented-Reality-Overlays auf Objekte im Kontext von Interaktiven Tischen soll im Rahmen dieser Arbeit untersucht werden. Dabei ergeben sich u.a. folgende mögliche Fragestellungen:

• Inwieweit/wie stark kann man die Realität durch Re-Projektionen verändern?
• Welche “Filter” eignen sich besonders gut?
• Welche konkreten Anwendungsfälle bieten sich für diese Technologie an?
• Wie langsam/subtil muss die Veränderung stattfinden, damit sie nicht auffällt?

Je nach Typ der Abschlussarbeit (Bachelorarbeit vs. Masterarbeit) beschränkt man sich auf einzelne Teilfragen.

Beispiele für mögliche Filter:

• Realität überhöhen - Sättigung, Kontrast erhöhen, Glow hinzufügen
• Realität abschwächen - Objekte matter/dunkler erscheinen lassen
• Subtile Effekte - “Zittern”, Glanzlichter, “Eidechsen”, die über das Objekt huschen
• Weitere Möglichkeiten: Invertieren, Helligkeit, Umriss/Kantenerkennung, Weichzeichner (Lowpass), Schärfen (Highpass), Comic-Filter, Texturen überlagern (Holz, …), Highlighting einzelner Objekte, Farbverschiebung, Partikeleffekte
• …

Mögliche Anwendungsfälle:

• Unterstützung bei der Suche nach bestimmten Gegenständen: z.B. alle Legosteine einer Farbe hervorheben
• Spielerische Erweiterung physischer Gegenstände/Erhöhung der Immersion: z.B: Märchenwald über die Realität blenden, wenn man das Märchenbuch aufschlägt.
• “Serendipitous Room” - Einblenden kurzer Zeitfetzen früherer Aktivitäten - z.B. frühere Objekte, die auf dem Tisch lagen
• Anzeige früherer Erinnerungen, z.B. sitzen frühere Gäste wieder auf der eigenen Couch.
• …

Weitere entscheidende Teilprobleme:

Je nach Art der Abschlussarbeit soll zusätzlich ein möglicher Lösungsansatz für eines oder mehrere der folgenden Teilprobleme erarbeitet werden

• Automatische Kalibrierung
• Objekterkennung ohne Marker. Diese soll auch funktionieren, wenn aktiv auf Objekte projiziert wird.
• Verzerrungsfreie Projektion auf (simple) 3D-Objekte

Nach Einarbeitung in das Thema soll ein konkretes Teilproblem herausgegriffen werden. Zu diesem passend sollen z.B. drei passende Filter evaluiert und anschließend implementiert werden. Hierbei soll besonders Wert auf modularen Code gelegt werden.

Beispielhafter Ablauf für eine mögliche Bachelorarbeit:

• Literaturrecherche zu früheren Arbeiten (1 Woche)
• Exploration der Technologie, Einarbeitung in Projektor-Kamera-Systeme und Projected-Augmented-Reality-Anwendungen, Kalibrierung, etc. (1-2 Wochen)
• Evaluation geeigneter Filter und Beispielanwendungen (1 Woche)
• Implementierung beispielhafter Filter und Anwendungen (2 Wochen)
• Durchführung einer qualitativen Studie (Welche Effekte werden von Benutzern bemerkt? Welche Anwendungsfälle erweisen sich als sinnvoll/nützlich) (1 Woche)
• Schriftliche Ausarbeitung (1-2 Wochen)

• Grundlegende Kenntnisse in OpenCV

• Jones, B. R., Benko, H., Ofek, E., & Wilson, A. D. (2013). IllumiRoom: Peripheral Projected Illusions for Interactive Experiences.
• Wilson, A. D., & Benko, H. (2016). Projected Augmented Reality with the RoomAlive Toolkit. Proceedings of the 2016 ACM on Interactive Surfaces and Spaces - ISS ’16, 517–520. https://doi.org/10.1145/2992154.2996362
• MobiSpray
• Raskar et al.: Shader Lamps: Animating Real Objects With Image-Based Illumination
• Wimmer, R. und Echtler, F. „VIGITIA: Unterstützung von alltäglichen Tätigkeiten an Tischen durch Projected AR“, Proceedings of the Mensch und Computer 2019 Workshop on Virtual and Augmented Reality in Everyday Context (VARECo), Hamburg, Deutschland. ACM, New York, NY, USA, https://doi.org/10.18420/muc2019-ws-620
• Sony Future Lab Interactive Tabletop (https://youtu.be/RLq4EvoKjFY )
• https://lightform.com/
• AR Sandbox