Gaze + Gesture = Good Games? Welches Potential bietet die Kombination aus blickbasierter Interaktion und Motion Tracking zur Interaktion in First-Person Action Adventures in der virtuellen Realität?

Hintergrund

Am 5. Februar 2015 kündigte der französische Publisher Ubisoft eines der ersten Computerspiele für den Endnutzermarkt mit einer fest integrierten Blickinteraktion in das Spiel „Assassin's Creed Rogue“ (Hyléen, 2015) an. Ferner zeigt die Evaluation zwischen reiner Controllersteuerung und der Kombination aus blickbasierter Interaktion und Controller, dass der Einsatz von Eye Tracking zur Interaktion in digitalen Spielen ein brauchbares Werkzeug ist (Dechant et al., 2014). Die Entwicklung, dass Remote- Eye-Tracking Systeme immer günstiger werden und langsam im Spielemarkt ankommen, setzt sich also fort (vgl. Pugliese, 2014) und bleibt nicht nur bei den stationären Eye Tracking System stehen. SensoMotoric Instruments GmbH präsentierte eine Integration eines Eye Trackers in das Head-Mounted-Display „Oculus Rift; Development Kit 2“ (Gehrke, 2014). Ferner wurde auf der CES 2014 die FOVE, ein Head-Mounted-Display mit einer von vornherein integrierten Eye Tracking Komponente vorgestellt (Quick, 2015). Mit Hilfe dieser Integration ist es nun möglich, dass im virtuellen Raum auch eine erweiterte blickbasierte Interaktion im dreidimensionalen Raum stattfinden kann. Die Bewegung bzw. Interaktion in dieser virtuellen Umgebung wird häufig über Controller bzw. Maus und Tastatur gelöst. Allerdings wird durch den Einsatz des HMDs diese Interaktion erschwert. Auch diese Interaktion ist begrenzt, da mit Hilfe des Körpers es nur eingeschränkt möglich ist, sich frei durch den Raum zu bewegen. Um dies abzufangen werden Hilfsmechaniken, wie beispielsweise der Einsatz einer fest vorgegebenen Route für die Navigation im Raum genutzt. Abhilfe könnte eine Kombination aus Körperbewegungen, Gesten und Blickinteraktion schaffen. Ermöglicht also die Kombination von Blickbasierter Interaktion und Bewegungssteuerung ein intuitives und immersives Interaktionskonzept für die Virtuelle Realität?

Zielsetzung der Arbeit

Das finale Ziel der Arbeit ist es, ein System zu schaffen, welches intuitiv im Umgang ist und ein immersives Spielerlebnis bietet und vor allem Spaß macht. Dieses Ziel gliedert sich in folgende Schritte:

Anforderungsanalyse: Welche Anforderungen stellt die Kombination dieser drei Sensoren?

Entwicklung eines Spieleprototyps mit den unten beschriebenen Interaktionsformen.

Evaluation des Prototyps auf die Game Experience sowie die Immersion und die Usability des Systems.

Das Ziel ist erreicht, wenn das Konzept sowohl positives Feedback in den Teilbereichen der Usability sowie positive Ergebnisse liefert, dass die Spieler das Gefühl hatten, in das Spiel einzutauchen. (Ein Vergleich der GEQ-Daten mit anderen Interaktionskonzepten kann im Ausblick der Arbeit gestellt werden, um dieses Konzept besser einschätzen zu können.)

Konkrete Aufgaben

Auf den Ergebnissen von den vorangegangener Prototypen Ilja (Dechant et al., 2014), Sophia (Dechant et al., 2013) und ersten internen Tests von Sensomotoric Instruments GmbH soll ein Prototyp eines First-Person-Action Adventures entwickelt werden, welcher das oben beschriebene Interaktionskonzept integriert. Mit Hilfe des Kinect 2-Sensors sollen die Bewegungen des Nutzers getrackt werden. Als Prototyp für die Interaktion via Gaze in der virtuellen Realität soll die Eye Tracking Integration in das Oculus Rift Development Kit 2 genutzt werden. Folgende Teilbereiche der Spielinteraktion sollen in diesem Prototyp evaluiert werden:

Steuerung der Kamera

Steuerung und Bewegen des Charakters im 3D-Raum

Interagieren mit Objekten in der 3D-Szene

Interagieren mit Gegnern (Kampf)

Interaktion mit einem klassischen User Interface (z.B. Statusübersicht oder Spielmenüs etc.)

Im zweiten Schritt soll das hier beschriebene System auf die Game Experience im Allgemeinen, die Immersion und die Usability des Systems evaluiert werden. Mit Hilfe von drei Fragebögen (Erfassung des Spielerverhaltens, Erhebung über die Usability des Konzepts sowie das GEQ) sollen die oben beschriebenen Elemente abgeprüft werden: Im Anschluss soll der Prototyp auf die folgenden Fragen hin evaluiert werden:

Usability des Systems: Mit Hilfe eines Fragebogens soll abgeprüft werden, ob das System intuitiv war bzw. ob und wo es Probleme bei der Interaktion mit dem Spiel gab. Ein wichtiger Punkt ist hier auch die Frage, inwiefern es Probleme mit der sog. „Motion Sickness“ bei der Interaktion gegeben hat (= Wurde den Nutzern während der Interaktion übel oder fühlten sie sich unwohl?).

Game Experience: Mit Hilfe des Game Experience Questionnaires (GEQ) soll abgeprüft werden, wie sich die Game Experience verhalten hat. Damit können Rückschlüsse gezogen werden, ob das Spiel Spaß gemacht hat. Neben der Frage nach dem Spaß ist auch die Frage, ob das Spielerlebnis immersiv war ein zweiter Punkt, der mit Hilfe des GEQ analyisert werden soll. Somit kann dieses Interaktionskonzept ggf. auch mit anderen klassischen Konzepten vergleichbar gemacht werden, um Rückschlüsse zu ziehen, ob diese Art der Sensorik einen Einfluss auf die Immersion eines Spiels hat.

Erwartete Vorkenntnisse

Mobile Eye Tracking

Kinect 2

Entwicklung von VR-Applikationen (z.B. mit Oculus Rift)

Umgang mit einer Game Engine

3D-Asset Produktion und Animationserstellung

Game Design

Weiterführende Quellen

* Craig, A., Sherman, W. R., & Will, J. D. (2009). Developing Virtual Reality Applications: Foundations of Effective Design. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.

Dechant, M., Fischbach, D., Mühlenfeld, J., Krüger, M., Schneidermeier, T., Böhm, P. (2014). Gaze-Based Interaction In Games: Combining Gaze-Based Interaction And Classical Input Devices In The Action Adventure Ilja in EyePlay Workshop 2014; Online verfügbar unter: http://jaysonturner.com/eyeplay/dechant.pdf (Zugriff: 07.03.2015)

Dechant, M., Heckner, M., Wolff, C. (2013). Der Schrecken im Blick: Eye Tracking und Survival Horror-Spiele;Workshopband Mensch & Computer 2013 München: Oldenvourg Verlag, 2013, S. 539-542

Diemer, J., Alpers, G. W., Peperkorn, H. M., Shiban, Y., & Mühlberger, A. (2015). The impact of perception and presence on emotional reactions: a review of research in virtual reality. Frontiers in Psychology, 6(January), 1–9. doi:10.3389/fpsyg.2015.00026

Gotsis, M. (2009). Games, Virtual Reality, and the Pursuit of Happiness. IEEE Comput. Graph. Appl., 29(5), 14–19. doi:10.1109/MCG.2009.94

Istance, H., Hyrskykari, A., Immonen, L., Mansikkamaa, S., & Vickers, S. (2010). Designing Gaze Gestures for Gaming: An Investigation of Performance. In Proceedings of the 2010 Symposium on Eye-Tracking Research &#38; Applications (pp. 323–330). New York, NY, USA: ACM. doi:10.1145/1743666.1743740

Koštomaj, M., & Boh, B. (2011). Design and Evaluation of User’s Physical Experience in an Ambient Interactive Storybook and Full Body Interaction Games. Multimedia Tools Appl., 54(2), 499–525. doi:10.1007/s11042-010-0549-4

Lankes, M., Mirlacher, T., Wagner, S., & Hochleitner, W. (2014). Whom Are You Looking for?: The Effects of Different Player Representation Relations on the Presence in Gaze-based Games. In Proceedings of the First ACM SIGCHI Annual Symposium on Computer-human Interaction in Play (pp. 171–179). New York, NY, USA: ACM. doi:10.1145/2658537.2658698

Mizobata, R., Silpasuwanchai, C., & Ren, X. (2014). Only for Casual Players?: Investigating Player Differences in Full-body Game Interaction. In Proceedings of the Second International Symposium of Chinese CHI (pp. 57–65). New York, NY, USA: ACM. doi:10.1145/2592235.2592244

Norton, J., Wingrave, C. A., & LaViola Jr., J. J. (2010). Exploring Strategies and Guidelines for Developing Full Body Video Game Interfaces. In Proceedings of the Fifth International Conference on the Foundations of Digital Games (pp. 155–162). New York, NY, USA: ACM. doi:10.1145/1822348.1822369

Silpasuwanchai, C., & Ren, X. (2014). Jump and Shoot!: Prioritizing Primary and Alternative Body Gestures for Intense Gameplay. In Proceedings of the 32Nd Annual ACM Conference on Human Factors in Computing Systems (pp. 951–954). New York, NY, USA: ACM. doi:10.1145/2556288.2557107

Quick, D (2015): Fove head mounted display expands possibilities with eye-tracking technology (24.07.2014); Online verfügbar unter : http://www.gizmag.com/fove-head-mounted-display-eye-tracking/33126/ (Zugriff: 02.03.2015)

Gehrke, S. (2014): SfN14: SMI Launches Eye Tracking Upgrade Package for the Oculus Rift DK2 HMD; online verfügbar unter: http://www.prnewswire.com/news-releases/sfn14-smi-launches-eye-tracking-upgrade-package-for-the-oculus-rift-dk2-hmd-282924001.html (Zugriff: 02.03.2015)

Pugliese, T. (2014):The Future of Streaming is unveiled with the steelseries sentry Eye Tracker; Online Verfügbar unter: http://steelseries.com/blog/press/the-future-of-streaming-is-unveiled-with-the-steelseries-sentry-eye-tracker; Zugriff: 01.03.2015)

Hyléen, S. (2015) Tobii Tech: Assassin’s Creed® Rogue Benchmarks New Era in Gaming with Tobii Eye Tracking Integration; Online verfügbar unter: http://www.businesswire.com/news/home/20150205006129/en/Tobii-Tech-Assassin%E2%80%99s-Creed%C2%AE-Rogue-Benchmarks-Era (Zugriff: 01.03.2015).