Reprojizierte Realität

Augmented Reality beschreibt die Überlagerung der realen Umgebung mit virtuellen Objekten. Diese Überlagerung kann entweder auf einem Display passieren oder durch Projektion virtueller Objekte auf die reale Umgebung. Hierbei müssen in der Regel die überlagerten Objekte dynamisch an die Perspektive des Benutzers Ein bisher kaum verfolgter Ansatz ist, modifizierte Fotos/Videos eines Objekts deckungsgleich wieder auf dieses selbst zu projizieren.

Ziel der Arbeit ist die Entwicklung eines Frameworks und prototypischer Demo-Anwendungen für die Aufnahme eines Objekts/Raums und die Re-Projektion darüber.

Dadurch sollen die optischen Eigenschaften des Objekts/Raums subtil verändert werden:

• Realität überhöhen - Sättigung, Kontrast erhöhen, Glow hinzufügen
• Realität abschwächen - matter, dunkler
• Subtile Effekte - zittern, Glanzlichter oder Eidechsen, die über das Objekt huschen

Außerdem kann man durch re-projektion des Objekts zu früheren Zeitpunkten weitere interessante Effekte erzeugen:

• Wenn man lange auf ein Erinnerungsstück starrt, werden im Raum frühere Erinnerungen wieder hergestellt, die man damit verbindet - z.B. sitzen frühere Gäste wieder auf der eigenen Couch.
• andere Trigger: Märchenwald über die Realität blenden, wenn man das Märchenbuch aufschlägt.
• Serendipitous Room - Blende kurze Zeitfetzen früherer Aktivitäten ein - z.B. frühere Objekte, die auf dem Tisch lagen

In der Arbeit sollen folgende Fragen untersucht werden:

• erhöht Reprojektion die Immersion?
• wie langsam/subtil muss man die Veränderung machen, damit sie nicht auffällt?
• wie stark kann man die Realität durch Reprojektion verändern? Welche Objekte und Oberflächen sind besonders gut geeignet?
• wie kann ich Objekte auf einer 2D-Oberfläche so anzeigen, dass sie aus verschiedenen Richtungen akzeptabel aussehen? Evtl. 3D-Hints von verschiedenen Richtungen mergen. Wie macht man das?

• Bau einer Kamera/Projektor-Kombination
• Implementierung eines Toolkits zum Aufzeichnen/verändern/mischen/wiedergeben von Realität, inkl. UI dafür
• Implementierung einer Demo
• Durchführung einer qualitativen Studie um zu untersuchen, welche Effekte von Benutzern akzeptiert werden

Hilfreich sind Kenntnisse im Bereich Videoverarbeitung (z.B. OpenFrameworks, libavg, VTK)

• Microsoft Research: IllumiRoom
• MobiSpray
• Raskar et al.: Shader Lamps: Animating Real Objects With Image-Based Illumination