Performance Capturing: Markerlose Mimik-Projektion auf virtuelle Charaktere

Performance Capture als Weiterentwicklung des klassischen Motion Capture ermöglicht es, komplexe Bewegungsmuster wie etwa Mimik zu erkennen und aufzunehmen. Durch diese Technik können die sonst sehr aufwändigen, manuell erstellen Animationen von Gesichtsausdrücken in 3D-Animationsprogrammen mit relativ kurzem zeitlichen Aufwand umgesetzt werden. Ohne weitere Probleme gelingt dies jedoch nur,falls die Konturen des aufgenommenen Gesichtes und die des 3D-Modells keine zu großen Unterschiede aufweisen, da andernfalls eine Mimikübertragung nicht mehr 1:1 möglichst. Dieser Umstand ist mit einfachen Mitteln nicht zu umgehen,ohne komplexe Umrechnungsverfahren anwenden zu müssen und somit menschliche Mimik auf beliebige 3D-Modelle transferieren zu können.

Das Ziel dieser Arbeit ist die Entwicklung einer einsatzfähigen Facial-Motion-Capturing Umgebung, unter Zuhilfenahme der Microsoft Kinect for Windows, in welcher der Benutzer mit möglichst geringer Vorarbeit, Mimik auf einen beliebigen virtuellen Avatar projizieren kann.

Theoretischer Teil:

• Recherche verschiedener Methoden der Gesichtserkennung sowie bereits existierender Facial-Motion-Capturing Verfahren
• Gegenüberstellung und Evaluation existierender Verfahren
• Entwicklung eines eigenen Ansatzes/ einer eigenen Methode zur Mimikprojektion auf virtuelle Avatare

Praktischer Teil:

• Planung des eigenen Facial-Motion-Capture Systems unter Zuhilfenahme geeigneter Dokumente und Diagramme (Pflichtenheft/Klassendiagramme/etc.)
• Erstellung eines virtuellen Avatars mit der Fähigkeit menschliche Gesichtsausdrücke umzusetzen
• Programmierung der Kinect for Windows und Extraktion relevanter Daten
• Programmierung eines Blender Addons um mit dem 3D-Modell interagieren zu können

  1. Aufnahme und Übertragung von Mimik auf den erstellten Avatar in Echtzeit

  Erwartete Vorkenntnisse
• Umgang mit einem 3D-Animationsprogramm sowie der Animationserstellung
• Programmiersprachen: Python, C#

- Edilson de Aguiar: Animation and Performance Capture using Digitized Models. Max-Planck-Institut für Informatik, 2008 (Dissertation) - Eduard Horber: Motion Capturing. Universität Ulm (Seminararbeit) - Esben Plenge: Facial Motion Capture with Sparse 2D-to3D Active Appearance Models. Universität Aalborg, Coppenhagen 2008 (Masterarbeit) - Kitagawa, Windsor: MoCap for Artists - Workflow and Techniques for Motion Capture. Elsevier Inc, 2008 - David Catuhe: Programming with the Kinect for Windows Software Development Kit. Microsoft Press, Redmont 2012