Using Artifical Neural Networks for Latency Compensation in Mobile Games

Videospiele werden längst nicht nur auf lokalen Geräten gerendert, mittlerweile bieten unter anderem alle großen Konsolenhersteller Gamestreamingservices. Dabei wird das Spiel auf Servern des Anbieters (der Cloud) gerendert und als Videostream auf das Endgerät des Nutzers übertragen, das oft relativ frei gewählt werden kann. Damit können grafisch aufwendige Spiele auch auf vergleichsweise schwacher Hardware gespielt werden und verbrauchen zudem keinen Speicherplatz. Ein großes Hindernis der weiteren Verbreitung von Game Streaming (auch Cloud Gaming) ist das Problem der Latenz. Als Latenz wird in der HCI die Zeit bezeichnet, die zwischen der Eingabe des Nutzers und der entsprechenden wahrnehmbaren Reaktion des Systems verstreicht [5]. Da bei Cloud Gaming die Eingaben des Nutzers erst an den Server gesendet werden müssen, der den Output des Spiels berechnet, als Videostream kodiert und an das Endgerät schickt, der wiederum dekodiert werden muss, entstehen mitunter hohe zeitliche Differenzen zwischen Input und visuellem Feedback an den Spieler. Hohe Latenzen können die Spielerfahrung stark negativ beeinflussen [1]. Ein Weg solche Latenzen zu kompensieren besteht darin, die Eingaben des Spielers mithilfe von Machine Learning vorherzusagen. In einer vorherigen Arbeit wurde in einem Experiment mithilfe eines Neuronalen Netzes Position und Orientierung der Spielfigur eines First-Person-Shooters auf der PC-Plattform vorhergesagt [2]. Die Teilnehmer schnitten mit der Unterstützung des Neuronalen Netzes signifikant besser ab und bewerteten in der abschließenden Befragung Aspekte ihrer Spielerfahrung signifikant besser als die Kontrollgruppe.

Es ist zu erwarten, dass Cloudstreaming-Services zukünftig auch oder gerade auf mobilen Geräten an Bedeutung gewinnen. Mobilgeräte sind als Gamesplattformen beliebt und können besonders von den Vorteilen von Cloudgaming profitieren. Zugleich weisen Touchscreens oft hohe Eingabelatenzen auf [3][4]. Ziel der Masterarbeit ist es daher, die Validität von prädiktiven Methoden mithilfe von Neuronalen Netzen (Artifical Neural Networks, ANNs) als Lösung für Latenzkompensierung auf Mobilgeräten zu untersuchen. Dazu soll im ersten Schritt ein geeignetes Spiel entwickelt werden, das Schnittstellen bietet um geeignete Daten zu sammeln. Mithilfe dieser Daten soll ein künstliches neuronales Netz entwickelt und trainiert werden. In einer abschließenden Nutzerstudie soll das prädiktive Systems in einer Nutzerstudie evaluiert werden, in der Latenzen wie sie beim Gamestreaming auftreten simuliert werden. Hauptaugenmerk bei der Evaluation soll dabei der Einfluss des Systems auf Verhalten und Spielerfahrung der Nutzer sein.

Literaturrecherche (2 Wochen)

Entwurf und Entwicklung des Spiels (2 Wochen)

Datensammlung, Entwicklung und Trainieren des ANN (4 Wochen)

Einarbeitung des ANN in das Spiel (4 Wochen)

Vorbereitung und Durchführung der Nutzerstudie (3 Wochen)

Auswerten der Studie (1 Wochen)

Schriftliche Ausarbeitung (4 Wochen)

Keine

1 Claypool, M., & Claypool, K. (2010). Latency can kill: Precision and deadline in online games. Proceedings of the First Annual ACM SIGMM Conference on Multimedia Systems, 215–222.

2 Halbhuber, D., Henze, N., & Schwind, V. (2021). Increasing Player Performance and Game Experience in High Latency Systems. Proceedings of the ACM on Human-Computer Interaction, 5(CHI PLAY), 1–20.

3 Jota, R., Ng, A., Dietz, P., & Wigdor, D. (2013). How fast is fast enough? A study of the effects of latency in direct-touch pointing tasks. Proceedings of the Sigchi Conference on Human Factors in Computing Systems, 2291–2300.

4 Kämäräinen, T., Siekkinen, M., Ylä-Jääski, A., Zhang, W., & Hui, P. (2017). Dissecting the end-to-end latency of interactive mobile video applications. Proceedings of the 18th International Workshop on Mobile Computing Systems and Applications, 61–66.

5 MacKenzie, I. S., & Ware, C. (1993). Lag as a determinant of human performance in interactive systems. Proceedings of the INTERACT’93 and CHI’93 Conference on Human Factors in Computing Systems, 488–493.