Classification of students' scholarly work tasks for Human Activity Recognition using a Smart Watch

In den letzten Jahren gewinnen Wearables, vor allem Smartwatches, immer mehr an Beliebtheit. Allein in Deutschland sind etwa 15 Millionen Menschen im Besitz einer Smartwatch[1]. Integrierte Features ermöglichen es den Usern, eingehende Nachrichten einzusehen, Anrufe zu tätigen und personalisierte Ziele zu erstellen[2]. Um sich einen Überblick über sportliche Aktivitäten zu verschaffen, ist es möglich die erreichten täglichen Ziele sowohl auf der Smartwatch, als auch in der zugehörigen App am Smartphone einzusehen. Aufgrund der verbauten Sensoren und den vor trainierten Modellen, können manche Smartwatches automatisch erkennen, welche Sportart zu dem Zeitpunkt ausgeübt wurde. Durch positives visuelles Feedback wird der User zum Sport motiviert und zu einem gesünderen Lebensstil animiert. Die automatisierte Erkennung der sportlichen Betätigung, schafft ein gesteigertes Nutzererlebnis, gibt einen den Einblick in Verhaltensmuster und wirkt sich auf die Produktivität des Users aus[3]. Bisher befassten sich Arbeiten weitestgehend mit der menschlichen Aktivitätserkennung im Bereich Sport und Aktivitäten des täglichen Lebens.
Daher ist es sinnvoll zu prüfen, ob es möglich ist, auch Routinearbeiten am Arbeitsplatz automatisch zu klassifizieren.

Zielsetzung dieser Arbeit ist es, statische Aktivitäten am Arbeitsplatz, eindeutig mithilfe von verschiedenen Klassifikatoren zu erkennen. Im Fokus stehen dabei, analoge und digitale Methoden von StudentInnen beim wissenschaftlichen Arbeiten.

• Erstellen einer FitBit App zum Auslesen der Sensorwerte
• Sammeln von Smartwatch- bzw. Videodaten
• Annotieren und Klassifizieren der Daten
• Trainieren eines neuronalen Netzes zur Klassifizierung der Aktivitäten
• Auswertung der Ergebnisse mittels Machine Learning Klassifikatoren

• Machine Learning
• Python
• JavaScript

[1] https://www.destatis.de/DE/Presse/Pressemitteilungen/Zahl-der-Woche/2020/PD20_39_p002.html

[2] https://www.bitkom.org/sites/default/files/2020-08/200826_ct_studie_2020_online.pdf

[3] Cecchinato, M. E., Cox, A. L., & Bird, J. (2017, May). Always on (line)? User experience of smartwatches and their role within multi-device ecologies. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (pp. 3557-3568).

Kwon, M. C., & Choi, S. (2018). Recognition of daily human activity using an artificial neural network and smartwatch. Wireless Communications and Mobile Computing, 2018.

Gouveia, R., Karapanos, E., & Hassenzahl, M. (2018, April). Activity Tracking in vivo. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-13).

Ramos, F. B. A., Lorayne, A., Costa, A. A. M., de Sousa, R. R., Almeida, H. O., & Perkusich, A. (2016, July). Combining Smartphone and Smartwatch Sensor Data in Activity Recognition Approaches: an Experimental Evaluation. In SEKE (pp. 267-272).

Bonde, A., Pan, S., Mirshekari, M., Ruiz, C., Noh, H. Y., & Zhang, P. (2020). OAC: Overlapping Office Activity Classification through IoT-Sensed Structural Vibration. 2020 IEEE/ACM Fifth International Conference on Internet-of-Things Design and Implementation (IoTDI), 216–222. https://doi.org/10.1109/IoTDI49375.2020.00028

Libal, V., Ramabhadran, B., Mana, N., Pianesi, F., Chippendale, P., Lanz, O., & Potamianos, G. (2009). Multimodal Classification of Activities of Daily Living Inside Smart Homes. Distributed Computing, Artificial Intelligence, Bioinformatics, Soft Computing, and Ambient Assisted Living, 687–694. https://doi.org/10.1007/978-3-642-02481-8_103

Cha, S. H., Seo, J., Baek, S. H., & Koo, C. (2018). Towards a well-planned, activity-based work environment: Automated recognition of office activities using accelerometers. Building and environment, 144, 86–93. https://doi.org/10.1016/j.buildenv.2018.07.051

Ghosh, P., Istiak, M. A., Rashid, N., Akash, A. H., Abrar, R., Dastider, A. G., Sushmit, A. S., & Hasan, T. (2020). Privacy-Aware Activity Classification from First Person Office Videos. In arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2006.06246