Mixed Reality-Based Process Control of Automatic Assembly Lines

Hintergrund

Im Kontext von Industrie 4.0 oder der „vierten industriellen Revolution“ ergeben sich neue Anforderungen an Firmen bezüglich der Art und Weise, wie Produkte gefertigt werden. Ein besonderes Augenmerk liegt dabei auf den Daten der Produkte selbst bzw. deren Bauteile und wie diese generiert, gespeichert und im Internet of Things verteilt werden.

Gekoppelt mit neueren Technologien wie AR / VR / MR sind neuartige Assistenzsysteme möglich, die Werker auf innovative Weise bei der Produktion unterstützen. Diese Systeme informieren, leiten oder trainieren bei der Montage, Reparatur oder Überwachung.

Während das Informieren, Anleiten oder Trainieren bei der Montage bereits in vorhergegangener Arbeit (Hahn et al.) nachweislich vorteilhaft ist, den Status Quo zu ersetzen, steht diese Frage für die Überwachung automatisierter Prozesse noch größtenteils im Raum.

Gegenwärtig unterstützen zahlreiche Monitore die Produktion. Sie sind z.B. an den Maschinen einer automatisierten Verarbeitungslinie oder an den Decken angebracht, und informieren die Werker über Maschinenzustände, Produktzustände, etc.. Dieser Status Quo ist in seiner Funktionalität hinreichend und ein gutes Maß an Produktivität wird erreicht. Allerdings ist die Positionierung der Hardware auch ablenkend bzw. zwingt den Benutzer bei Problemen stets den Blick von einem Monitor zum anderen zu schwenken und erschwert die Fokussierung auf die Lösung eines Problems. Diese Probleme können die Produktivität nachhaltig beeinflussen und sind damit teuer.

Zielsetzung der Arbeit

Mithilfe der Microsoft HoloLens soll ein Assistenzsystem implementiert und evaluiert werden, dass exemplarisch sämtliche für den Werker relevanten Daten in einer Mixed-Reality Umgebung in Echtzeit visualisiert.

Die Visualisierung wird durch Gestensteuerung unterstützt, indem man z.B. eine Maschine auswählen und deren Status abfragen kann. Der Benutzer kann auch durch seine Position in Relation zur gewünschten Maschine interagieren, indem er z.B. die Maschinenlinie entlang geht und den Status für die Anlage erhält, neben der er sich gerade befindet.

Zur Unterstützung bei der Sichtprüfung von Leiterplatten projeziert das Assistenzsystem den finalen Sollzustand der Montage. Dadurch werden potentielle Fehler sichtbar und für das menschliche Auge schneller identifizierbar.

Folgende Forschungsfragen sollen bei der Evaluation des Systems in einer tatsächlichen Fertigungslinie eines EMS-Dienstleisters untersucht werden:

RQ1: Generiert ein Assistenzsystem dieser Art einen Mehrwert gegenüber des etablierten Status Quo, in dem Probleme oder Fehler schneller identifiziert, behoben oder präventiert werden können? RQ2: Bietet der Ort der Visualisierung der Daten im Sichtfeld im Bezug zur Betrachtung des Produkts einen Vorteil bei der Fehlersuche und beschleunigt diese? RQ3: Generiert das Assistenzsystem die selbe oder zumindest ähnliche Produktivtität bei Laien bzw. Neulingen des Arbeitsprozesses?

Konkrete Aufgaben

Planung und Implementierung eines Assistenzsystems mit der Microsoft HoloLens als Zielplattform

Implementierung eines 3D-UIs zur Visualisierung

Implementierung einer Bildverarbeitungspipeline zur Erkennung von Leiterplatten (markerlos)

Implementierung eines kleinen Applikationsservers für Datenbankabfragen, die an die HoloLens-App weitergeleitet werden

Implementierung einer WLAN-Lokalisationskomponente und Stabilisation des Signals

Planung und Durchführung einer Evaluation des Assistenzsystems mit mindestens 25 Testpersonen (Idealfall: 20 Stammkräfte und 5 Neulinge) anhand Forschungsfragen

Erwartete Vorkenntnisse

Grundlagen AR / VR / MR / 3D

Erfahrung Computer Vision

Erfahrung Machine Learning / Deep Learning (Stabilisierung der WLAN-Lokalisation)

entsprechende Mathematik

Weiterführende Quellen

Hahn, J., Ludwig, B., & Wolff, C. (2015, November). Augmented reality-based training of the PCB assembly process. In Proceedings of the 14th International Conference on Mobile and Ubiquitous Multimedia (pp. 395-399). ACM. ISO 690
* Kiryati, N., Eldar, Y., & Bruckstein, A. M. (1991). A probabilistic Hough transform. Pattern recognition, 24(4), 303-316.

Regenbrecht, H., Baratoff, G., & Wilke, W. (2005). Augmented reality projects in the automotive and aerospace industries. IEEE Computer Graphics and Applications, 25(6), 48-56.

Shafer, I., & Chang, M. L. (2010, October). Movement detection for power-efficient smartphone WLAN localization. In Proceedings of the 13th ACM international conference on Modeling, analysis, and simulation of wireless and mobile systems (pp. 81-90). ACM.

Fang, S. H., & Lin, T. N. (2009, August). Accurate WLAN indoor localization based on RSS, fluctuations modeling. In Intelligent Signal Processing, 2009. WISP 2009. IEEE International Symposium on (pp. 27-30). IEEE.

Schmidhuber, J. (2015). Deep learning in neural networks: An overview. Neural networks, 61, 85-117.