Übertragung von Lehrerhandbewegungen in eInem Augmented-Reality-System für den Bassunterricht

Augmented Reality und Virtual Reality haben großes Potenzial im Bereich des Lernens und Lehrens [1]. Durch die stetige Weiterentwicklung und Verbesserung von Virtual-Reality-Brillen und deren Funktionen wie Passtrough oder Tiefensensorik bieten sich auch neue Möglichkeiten, das interaktive Lernen von Instrumenten zu erleichtern. Beim klassischen Gitarren-/Bassunterricht sitzt der Lernende dem Lehrenden gegenüber im selben Raum. Um die Demonstrationen des Lehrers nachzustellen, muss der Schüler umdenken, um diese zu reproduzieren, da er die Bewegungen der Hand spiegelverkehrt aufnimmt. Dieser perspektivische Unterschied stellt ein Problem für Anfänger dar [4].

Frühere Arbeiten haben bereits Systeme entwickelt und evaluiert, die mittels AR das Lernen von Instrumenten unterstützen [2, 3, 4]. Ein Beispiel ist die Arbeit von Skreining et al. welche mittels eines Head-Mounted Displays ein Handmodell und zu greifende Noten auf dem Gitarrenhals darstellten [2]. Hierdurch entfällt die Notwendigkeit die Perspektive beim Nachspielen auszugleichen.

Trotz der Vielzahl an System zum Lernen von Instrumenten mit AR existiert bisher keines, das die Interaktion zwischen Lehrer und Schüler in Echtzeit unterstützt.

Ziel dieser Arbeit ist die Implementierung und Evaluation eines Augmented-Reality-basierten Systems für den Bassunterricht zwischen Lehrer und Schüler. Der entwickelte Prototyp soll die Hand des Lehrers erfassen und an die AR-Brille des Schülers übertragen können, sodass die Hand in Form eines virtuellen Modells auf dem realen Griffbrett des Schülers dargestellt werden kann. Dadurch wird dem Schüler ermöglicht, die Griffe des Lehrers ohne mentale Transformation zu imitieren und selbst bei räumlicher Trennung unterrichtet zu werden.

In einem kontrollierten Experiment soll die Genauigkeit der Positionen des Handmodells mit den Positionen der realen Hand verglichen werden.

• Aufbereitung der Literatur
• Entwicklung eines Teilsystems zur Erfassung der Hand in Python
• Entwicklung eines Teilsystems zur Darstellung der Hand in Unity in Form einer AR-Anwendung
• 3D-Druck zur Befestigung der Ankerpunkte
• Implementierung des Loggings zur Erfassung der Handkoordinaten
• Entwurf, Durchführung und Evaluation einer Studie zur Systemgenauigkeit

• Erfahrung mit Unity
• Programmierkenntnisse in Python/C#
• Konzeption, Umsetzung und Auswertung empirischer Studien

[1] Al-Ansi, A. M., Jaboob, M., Garad, A., & Al-Ansi, A. (2023). Analyzing augmented reality (AR) and virtual reality (VR) recent development in education. Social Sciences & Humanities Open, 8(1), 100532.

[2] Skreinig, L. R., Kalkofen, D., Stanescu, A., Mohr, P., Heyen, F., Mori, S., … & Plopski, A. (2023). guitARhero: Interactive Augmented Reality Guitar Tutorials. IEEE Transactions on Visualization and Computer Graphics.

[3] Martin-Gutierrez, J., Del Rio Guerra, M. S., Lopez-Chao, V., Soto Gastelum, R. H., & Valenzuela Bojórquez, J. F. (2020). Augmented reality to facilitate learning of the acoustic guitar. Applied Sciences, 10(7), 2425.

[4] Löchtefeld, M., Gehring, S., Jung, R., & Krüger, A. (2011). Using mobile projection to support guitar learning. In Smart Graphics: 11th International Symposium, SG 2011, Bremen, Germany, July 18-20, 2011. Proceedings 11 (pp. 103-114). Springer Berlin Heidelberg.