Inwiefern eignet sich die Kombination einer Blickbasierten Interaktion und einer Handgestensteuerung zur Interaktion mit digitalen Spielen? [Gaze & Gesture: Evaluating Basic Interactions of a Top Down Video Game with Natural User Interfaces]

Die Interaktion mit digitalen Spielen erfolgt meist über Tastatur und/oder Maus bzw. ein Gamepad. Das Problem dabei ist jedoch oft, dass gerade Spielanfänger das Problem haben, die Interaktion zu lernen. Es gibt zu viele Knöpfe und Triggers, die etwas bewirken könnten. Das kann überfordern und frustrieren. Gerade in den neusten Entwicklungen der Virtual Reality wird dieses Problem noch weiter verstärkt, da der Nutzer in der virtuellen Umgebung die realen Tasten nicht mehr sehen kann und im wahrsten Sinne des Wortes im dunkeln herumstochert, um eine Aktion auszulösen. Neuere Formen der Interaktion, wie beispielsweise blickbasierte Interaktion, könnten ggf. dieses Problem lösen, da durch die natürlichkeit der Interaktionsform beispielsweise eine intuitive Kamerasteuerung basierend auf den Blicken des Nutzers implementiert werden kann, die schnell erlernbar ist. Jedoch stößt man mit einer reinen blickbasierten Interaktion schnell an die Grenzen, da nicht eindeutig identifiziert werden kann, weswegen der Nutzer auf bestimmte Elemente blick. Dieses Problem wird als Midas Touch Problem bezeichnet. Eine weitere Interaktionsform wird also benötigt, um bewusste Befehl des Nutzers aufnehmen zu können und dem Midas Touch Problem zu lösen. Somit ist nun die Frage, ob eine Kombination aus zwei Natural User Interactions eine brauchbare Alternative für die Interaktion mit digitalen Spielen bilden kann.

Das Ziel dieser Arbeit ist die Evaluation der Nutzerfreundlichkeit und der Robustheit der Interaktion von Gaze und Hand Gestures für digitale Spiele. Dabei wird sich vorerst auf das Desktop Szenario beschränkt.

Entwicklung eines Prototypen mit einer Blickbasierten interaktion die mit Handgesten kombiniert wird. Dazu wird ein kleines Adventure Game implementiert, mit folgenden grundlegenden Interaktionsformen:

• Steuerung der Kamera (Vogelperspektive)
• Steuerung des Charakters (thid Person)
• Selektion von Statischen Objekten und Dynamischen Objekten
• Interaktion mit AI-Pawns (Aktivieren und Zielen von Spieleraktionen)
• Interaktion mit einem UI

Evaluation des Prototypen:

• Benötigte Zeit für einzelne Tasks (Interaktion mit AI und Selektion von Gegnern)
• Durchschnittliche Anzahl der benötigten Gesten und Selektionszeiten des Auges
• Messung der Game Experience mittels GEQ

• Grundlegende Fertigkeiten im Bereich des Game Designs
• Umgang mit einer 3D Game Engine (Unity 5 oder Unreal Engine4)
• Eye Tracking Framework (Tobii EyeX-Engine oder SMI iView SDK)
• Mediengestaltung

• Alt, F., Schneegass, S., Auda, J., Rzayev, R., & Broy, N. (2014). Using eye-tracking to support interaction with layered 3D interfaces on stereoscopic displays. Proceedings of the 19th International Conference on Intelligent User Interfaces - IUI ’14, 267–272. doi:10.1145/2557500.2557518
• Gowases, T., Bednarik, R., & Tukiainen, M. (2008). Gaze vs. mouse in games: The effects on user experience. Proceedings of the International Conference on Computers in Education, 773–777. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.144.1639
• Hyrskykari, A., Istance, H., & Vickers, S. (2012). Gaze Gestures or Dwell-based Interaction? In Proceedings of the Symposium on Eye Tracking Research and Applications (pp. 229–232). New York, NY, USA: ACM. doi:10.1145/2168556.2168602
• Isokoski, P., Joos, M., Spakov, O., & Martin, B. (2009). Gaze controlled games. Universal Access in the Information Society, 8(4), 323–337. doi:10.1007/s10209-009-0146-3
• Istance, H., Hyrskykari, A., Vickers, S., & Chaves, T. (2009). For Your Eyes Only: Controlling 3D Online Games by Eye-Gaze. In Proceedings of the 12th IFIP TC 13 International Conference on Human-Computer Interaction: Part I (pp. 314–327). Berlin, Heidelberg: Springer-Verlag. doi:10.1007/978-3-642-03655-2_36
• Lankes, M., Mirlacher, T., Wagner, S., & Hochleitner, W. (2014). Whom Are You Looking for?: The Effects of Different Player Representation Relations on the Presence in Gaze-based Games. In Proceedings of the First ACM SIGCHI Annual Symposium on Computer-human Interaction in Play (pp. 171–179). New York, NY, USA: ACM. doi:10.1145/2658537.2658698
• Picardi, A., Burelli, P., & Yannakakis, G. N. (2011). Modelling Virtual Camera Behaviour Through Player Gaze. International Conference On The Foundations Of Digital Games, 107–114. doi:10.1145/2159365.2159380
• Sibert, L. E., & Jacob, R. J. K. (2000). Evaluation of eye gaze interaction. Proc. CHI, 2(1), 281–288. doi:10.1145/332040.332445
• Špakov, O., & Majaranta, P. (2012). Enhanced Gaze Interaction Using Simple Head Gestures. In Proceedings of the 2012 ACM Conference on Ubiquitous Computing (pp. 705–710). New York, NY, USA: ACM. doi:10.1145/2370216.2370369
• Vickers, S. (2011). Eye-gaze interaction techniques for use in online games and environments for users with severe physical disabilities., (June). Retrieved from http://hdl.handle.net/2086/5006
• Wilcox, T., Evans, M., Pearce, C., Pollard, N., & Sundstedt, V. (2008). Gaze and Voice Based Game Interaction: The Revenge of the Killer Penguins. In ACM SIGGRAPH 2008 Posters (pp. 81:1–81:1). New York, NY, USA: ACM. doi:10.1145/1400885.1400972
• Yamamoto, M., Komeda, M., Nagamatsu, T., & Watanabe, T. (2010). Development of Eye-tracking Tabletop Interface for Media Art Works. In ACM International Conference on Interactive Tabletops and Surfaces (pp. 295–296). New York, NY, USA: ACM. doi:10.1145/1936652.1936723