Prototypische Umsetzung und Evaluierung einer cloudbasierten Applikation zur Analyse von Fahrzeugtraces auf Hadoop

Hintergrund

Das Unternehmen iNTENCE automotive electronics GmbH entwickelte bereits eine Softwarekomponente zur Verwaltung, Steuerung und Analyse von Fahrzeugtraces auf Basis von Sollmodellen. Aufgrund der starken Vernetzung im Fahrzeug und den dadurch entstehenden Datenmengen (Big Data) kann eine Analyse sehr viel Zeit in Anspruch nehmen. Durch den Einsatz von Hadoop verspricht man sich eine erhebliche Optimierung der Analysezeit, da durch dieses Framework Verarbeitungsschritte stark parallelisiert werden können.

Zielsetzung der Arbeit

Im Rahmen dieser Arbeit soll mithilfe der bestehenden Funktionalitäten eine Applikation entwickelt werden, die die starke Parallelisierung von Hadoop für verschiedene Verarbeitungsschritte nutzt. Zur Steuerung der Anwendung soll eine Schnittstelle konzipiert und umgesetzt werden. Die Evaluation der Anwendung wird anschließend anhand von Performancetests durchgeführt und ist Basis für die weitere Vorgehensweise.

Konkrete Aufgaben

* Analyse vorhandener Technologien

Konzeption:

Parallelisierung der Datenvorverarbeitung

Design Datenbankschema

Parallelisierung der Analyse

Umsetzung:

Setup der Infrastruktur Hadoop als Testumgebung während der Entwicklung

Erstellung der Hive Datenbankschemata für Ein- und Ausgabedaten

Parallelisierung der Datenvorverarbeitung

Persistieren der Analyseergebnisse in der Hive Datenbank

Parallelisierung des Analyse

Kommandozeileninterface

Evaluation:

Performancetests spezifizierter Datenmengen auf Hadoop Cluster

Performancevergleich zu herkömmlicher Datenvorverarbeitung

Erwartete Vorkenntnisse

Solide Kenntnisse in Java-Programmierung und Datenbanken.

Weiterführende Quellen

TBD