Prototypische Umsetzung und Evaluierung einer cloudbasierten Applikation zur Analyse von Fahrzeugtraces auf Hadoop

Das Unternehmen iNTENCE automotive electronics GmbH entwickelte bereits eine Softwarekomponente zur Verwaltung, Steuerung und Analyse von Fahrzeugtraces auf Basis von Sollmodellen. Aufgrund der starken Vernetzung im Fahrzeug und den dadurch entstehenden Datenmengen (Big Data) kann eine Analyse sehr viel Zeit in Anspruch nehmen. Durch den Einsatz von Hadoop verspricht man sich eine erhebliche Optimierung der Analysezeit, da durch dieses Framework Verarbeitungsschritte stark parallelisiert werden können.

Im Rahmen dieser Arbeit soll mithilfe der bestehenden Funktionalitäten eine Applikation entwickelt werden, die die starke Parallelisierung von Hadoop für verschiedene Verarbeitungsschritte nutzt. Zur Steuerung der Anwendung soll eine Schnittstelle konzipiert und umgesetzt werden. Die Evaluation der Anwendung wird anschließend anhand von Performancetests durchgeführt und ist Basis für die weitere Vorgehensweise.

* Analyse vorhandener Technologien

• Konzeption:
  • Parallelisierung der Datenvorverarbeitung
  • Design Datenbankschema
  • Parallelisierung der Analyse
• Umsetzung:
  • Setup der Infrastruktur Hadoop als Testumgebung während der Entwicklung
  • Erstellung der Hive Datenbankschemata für Ein- und Ausgabedaten
  • Parallelisierung der Datenvorverarbeitung
  • Persistieren der Analyseergebnisse in der Hive Datenbank
  • Parallelisierung des Analyse
  • Kommandozeileninterface
• Evaluation:
  • Performancetests spezifizierter Datenmengen auf Hadoop Cluster
  • Performancevergleich zu herkömmlicher Datenvorverarbeitung

Solide Kenntnisse in Java-Programmierung und Datenbanken.

TBD