Prototypische Umsetzung und Evaluierung einer cloudbasierten Applikation zur Analyse von Fahrzeugtraces auf Hadoop

Thema:
Prototypische Umsetzung und Evaluierung einer cloudbasierten Applikation zur Analyse von Fahrzeugtraces auf Hadoop
Art:
MA
Betreuer:
Christian Wolff
Student:
Theresa Reiml
Professor:
Christian Wolff
Status:
abgeschlossen
Stichworte:
Cloud, Hadoop, Analyse, Fahrzeug-Traces, Automotive, Big Data
angelegt:
2016-08-16
Beginn:
2016-07-01
Anmeldung:
2016-08-18
Antrittsvortrag:
2016-09-29
Ende:
2017-02-18

Hintergrund

Das Unternehmen iNTENCE automotive electronics GmbH entwickelte bereits eine Softwarekomponente zur Verwaltung, Steuerung und Analyse von Fahrzeugtraces auf Basis von Sollmodellen. Aufgrund der starken Vernetzung im Fahrzeug und den dadurch entstehenden Datenmengen (Big Data) kann eine Analyse sehr viel Zeit in Anspruch nehmen. Durch den Einsatz von Hadoop verspricht man sich eine erhebliche Optimierung der Analysezeit, da durch dieses Framework Verarbeitungsschritte stark parallelisiert werden können.

Zielsetzung der Arbeit

Im Rahmen dieser Arbeit soll mithilfe der bestehenden Funktionalitäten eine Applikation entwickelt werden, die die starke Parallelisierung von Hadoop für verschiedene Verarbeitungsschritte nutzt. Zur Steuerung der Anwendung soll eine Schnittstelle konzipiert und umgesetzt werden. Die Evaluation der Anwendung wird anschließend anhand von Performancetests durchgeführt und ist Basis für die weitere Vorgehensweise.

Konkrete Aufgaben

* Analyse vorhandener Technologien

  • Konzeption:
    • Parallelisierung der Datenvorverarbeitung
    • Design Datenbankschema
    • Parallelisierung der Analyse
  • Umsetzung:
    • Setup der Infrastruktur Hadoop als Testumgebung während der Entwicklung
    • Erstellung der Hive Datenbankschemata für Ein- und Ausgabedaten
    • Parallelisierung der Datenvorverarbeitung
    • Persistieren der Analyseergebnisse in der Hive Datenbank
    • Parallelisierung des Analyse
    • Kommandozeileninterface
  • Evaluation:
    • Performancetests spezifizierter Datenmengen auf Hadoop Cluster
    • Performancevergleich zu herkömmlicher Datenvorverarbeitung

Erwartete Vorkenntnisse

Solide Kenntnisse in Java-Programmierung und Datenbanken.

Weiterführende Quellen

TBD

arbeiten/analyse_von_fahrzeugtraces_auf_hadoop.txt · Zuletzt geändert: 20.09.2017 10:57 von Christian Wolff
Recent changes RSS feed Debian Powered by PHP Valid XHTML 1.0 Valid CSS Driven by DokuWiki