Entwicklung und Evaluation einer App zur Identifikation von in Deutschland heimischen Vogelarten

Da das Reisen durch die Corona-Pandemie schwieriger wurde, erkunden Menschen mehr ihre nähere Umgebung [1]. Dadurch wurden sogenannte Natur-Apps bzw. Bestimmungs-Apps beliebter, wie beispielsweise die App Flora Incoginta der TU Ilmenau, die sogar vom Bundesministerium für Umwelt, Naturschutz und nuklearer Sicherheit mit 2,38 Millionen Euro gefördert wurde [2]. Die App Flora Incognita ermöglicht es Nutzern, Pflanzenarten zu bestimmen. Auch in anderen Gebieten, wie beispielsweise der Medizin können mittlerweile Bestimmungs-Apps eingesetzt werden. Srinivasu et al. [14] haben beispielsweise eine App entwickelt, die es ermöglicht, Hauterkrankungen mittels Bilderkennung zu identifizieren. Die oben genannten Apps verwenden dafür Convolutional Neural Networks (CNN), eine spezielle Art von neuronalen Netzwerken, die für die Verarbeitung von Bilddaten geeignet sind [10].

Ziel dieser Arbeit ist die Implementierung einer App, die es Nutzern ermöglicht, die Art eines Vogels zu bestimmen anhand einer Fotografie von einem Vogel. Dabei soll der Fokus auf in Deutschland vorkommenden Arten liegen. Ähnlich wie auch bei bekannten Bestimmungs-Apps wie PictureThis oder FloraIncognita sollen nach Hochladen eines Bildes Informationen zu den Vogelarten angezeigt werden, die am wahrscheinlichsten auf dem Bild zu erkennen waren. Die Anwendung soll schließlich im Rahmen einer Nutzerstudie evaluiert werden. Wie auch bei den genannten Apps soll ein CNN trainiert werden. Zum Trainieren soll Flickr als Datenquelle verwendet werden.

• Python (Pandas, Numpy, PIL, Tensorflow, Keras, BeautifulSoup)
• Grundlagen des Machine Learnings (Tiefe Neuronale Netzwerke bzw. Convolutional Neural Networks und Transfer Learning)
• Prototyping Tools (Adobe XD)
• Kenntnisse in der App-Entwicklung (JavaScript, React Native (ermöglicht Cross-Platform Unterstützung): u.a. Redux, Expo)
• Bereitstellung eines Modells auf einem Server (Flask)
• Informationsquellen für die Inhalte der App (u.a. Wikipedia für Beschreibungen zu Vogelarten)
• Datenquelle für Vogelbilder (Flickr API)
• Grundkenntnisse im Umgang mit Datenbanken (SQLite)
• Grundkenntnisse im Usability-Engineering

• Recherche von in Deutschland vorkommende Vogelarten
• Informationen zu Vogelarten extrahieren um Details zu einer Vogelart anzeigen zu können
• Training eines CNNs, dessen Aufgabe es ist zu erkennen, ob überhaupt ein Vogel auf einem Bild dargestellt wird.
• Entwurf eines Prototyps vor der Implementierung der eigentlichen App
• Training eines CNNs zur Erkennung der Vogelarten (Evaluation verschiedener Transfer Learning Modelle)
• Implementierung eines Flask-Servers zur Bereitstellung des Modells (HTTP-Requests)
• Implementierung der App
• Evaluation des trainierten CNN
• Evaluation der finalen App im Rahmen einer task-basierten Nutzerstudie
• Schriftliche Dokumentation und Ausarbeitung der Arbeit

[1] Natur-Apps boomen in Corona-Zeit

[2] Flora Incognita: Digitale Pflanzenbestimmung für alle

[3] Angelova, A., Zhu, S., Lin, Y., Wong, J., & Shpecht, C. (2012). Development and deployment of a large-scale flower recognition mobile app. NEC Labs America Technical Report.

[4] Harjoseputro, Y., Yuda, I., & Danukusumo, K. P. (2020). MobileNets: Efficient convolutional neural network for identification of protected birds. IJASEIT (International Journal on Advanced Science, Engineering and Information Technology), 10(6), 2290-2296.

[5] Islam, S., Khan, S. I. A., Abedin, M. M., Habibullah, K. M., & Das, A. K. (2019, July). Bird species classification from an image using VGG-16 network. In Proceedings of the 2019 7th international conference on computer and communications management (pp. 38-42).

[6] Jones, H. G. (2020). What plant is that? Tests of automated image recognition apps for plant identification on plants from the British flora. AoB Plants, 12(6), plaa052.

[7] Liu, J., Kanazawa, A., Jacobs, D., & Belhumeur, P. (2012, October). Dog breed classification using part localization. In European conference on computer vision (pp. 172-185). Springer, Berlin, Heidelberg.

[8] Lu, J., Tan, L., & Jiang, H. (2021). Review on Convolutional Neural Network (CNN) Applied to Plant Leaf Disease Classification. Agriculture, 11(8), 707.

[9] Mashuk, F., Sattar, A., & Sultana, N. (2021, February). Machine Learning Approach for Bird Detection. In 2021 Third International Conference on Intelligent Communication Technologies and Virtual Mobile Networks (ICICV) (pp. 818-822). IEEE.

[10] Mäder, P., Boho, D., Rzanny, M., Seeland, M., Wittich, H. C., Deggelmann, A., & Wäldchen, J. (2021). The Flora Incognita app–interactive plant species identification. Methods in Ecology and Evolution.

[11] Pärtel, J., Pärtel, M., & Wäldchen, J. (2021). Plant image identification application demonstrates high accuracy in Northern Europe. AoB Plants, 13(4), plab050.

[12] Raj, S., Garyali, S., Kumar, S., & Shidnal, S. Image based Bird Species Identification using Convolutional Neural Network.

[13] Shepley, A., Falzon, G., Meek, P., & Kwan, P. (2021). Automated location invariant animal detection in camera trap images using publicly available data sources. Ecology and evolution, 11(9), 4494-4506.

[14] Srinivasu, P. N., SivaSai, J. G., Ijaz, M. F., Bhoi, A. K., Kim, W., & Kang, J. J. (2021). Classification of skin disease using deep learning neural networks with MobileNet V2 and LSTM. Sensors, 21(8), 2852.

[15] Van Horn, G., Branson, S., Farrell, R., Haber, S., Barry, J., Ipeirotis, P., … & Belongie, S. (2015). Building a bird recognition app and large scale dataset with citizen scientists: The fine print in fine-grained dataset collection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 595-604).

[16] Wu, T. (2021, June 30). Automated web scraping using flickr api with dynamic dashboards for analysis. Medium. https://wutianhao910.medium.com/automated-web-scraping-using-flickr-api-with-dynamic-dashboards-for-analysis-9df5501d2107.

[17] Wäldchen, J. A. N. A., Thuille, A., Seeland, M., Rzanny, M., Schulze, E. D., Boho, D., … & Mäder, P. (2016). Flora Incognita–Halbautomatische Bestimmung der Pflanzenarten Thüringens mit dem Smartphone. Landschaftspflege und Naturschutz in Thüringen, 53(3), 121-125.

[18] Wäldchen, J., & Mäder, P. (2019). Flora Incognita – wie künstliche Intelligenz die Pflanzenbestimmung revolutioniert: Botanik. Biologie in unserer Zeit, 49(2), 99-101.