Tree species identification and leaf segmentation from natural images using deep semi-supervised learning
Date
2022-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Species identification is of significant importance to biodiversity conservation. However,
there has been a sharp decline in expert species identification skills. This decline neces sitates automated tools for assisting accurate species identification.
Earlier work on automated plant species classification focused on single plant at tributes with simple backgrounds. We advance automatic tree species identification by
compiling a real-world natural image dataset for species identification. The multi-layered
complexity of the dataset requires unconventional approaches for its utilisation.
Deep semi-supervised learning (SSL) methods use labelled and additional unlabelled
data for training a deep learning classifier. We present an SSL method for automated tree
species identification from realistic, natural images. Our two-fold identification method
exploits unlabelled images to perform tree feature recognition followed by species classi fication. The feature recognition step extracts bark and leaf images automatically from
images with various tree features using minimal labelled data. We subsequently perform
species classification of 50 chosen tree species and outperform traditional supervised learn ing (SL) approaches.
Further, accurate image segmentation of leaves is critical for studying plant species
characteristics. Current leaf segmentation algorithms are dependent on uniform leaf
images or human interaction. Therefore, we propose an automated leaf segmentation
method for extracting information from natural images. We employ our SSL feature
recognition model for detection leaves and achieve state-of-the-art segmentation accuracy.
AFRIKAANSE OPSOMMING: Spesie-identifikasie is van beduidende belang vir biodiversiteitsbewaring. Die skerp af name in spesie-identifikasievaardighede noodsaak geoutomatiseerde hulpmiddels om iden tifikasie te help. Vorige werk aan geoutomatiseerde plantspesieklassifikasie het hoofsaaklik gefokus op enkelplanteienskappe met eenvoudige agtergronde. Ons gebruik beelde van natuurlike instellings om outomatiese boomspesie-identifikasie te bevorder deur ’n werk like datastel vir spesie-identifikasie saam te stel. Om die veelvlakkige kompleksiteit van die datastel te benut, vereis onkonvensionele benaderings. Diep semi-toesig leer (SSL) metodes gebruik gemerkte en bykomende ongemerkte data vir die opleiding van ’n diep leer klassifiseerder. Ons bied ’n outomatiese SSL-metode vir boomspesie-identifikasie vanaf realistiese, natuurlike beelde aan. Ons tweevoudige identifikasiemetode ontgin ongemerkte natuurlike beelde om boomkenmerke te herken, gevolg deur spesieklassifikasie. Die kenmerkherkenningstap onttrek bas- en blaarbeelde outomaties uit beelde met verskeie boomkenmerke met minimale benoemde data. Ons voer vervolgens spesieklassifikasie van 50 gekose boomspesies uit en presteer beter as tradisionele toesigleer-benaderings (SL). Akkurate beeldsegmentering van blare is krities vir die bestudering van plantspesie eienskappe. Huidige blaarsegmenteringsalgoritmes is afhanklik van eenvormige blaar beelde of menslike interaksie. Daarom stel ons ’n outomatiese blaarsegmenteringsmetode voor om inligting uit natuurlike beelde te onttrek. Ons gebruik SSL-kenmerkenningsmodel vir opsporing van blare en bereik die nuutste segmentasie-akkuraatheid.
AFRIKAANSE OPSOMMING: Spesie-identifikasie is van beduidende belang vir biodiversiteitsbewaring. Die skerp af name in spesie-identifikasievaardighede noodsaak geoutomatiseerde hulpmiddels om iden tifikasie te help. Vorige werk aan geoutomatiseerde plantspesieklassifikasie het hoofsaaklik gefokus op enkelplanteienskappe met eenvoudige agtergronde. Ons gebruik beelde van natuurlike instellings om outomatiese boomspesie-identifikasie te bevorder deur ’n werk like datastel vir spesie-identifikasie saam te stel. Om die veelvlakkige kompleksiteit van die datastel te benut, vereis onkonvensionele benaderings. Diep semi-toesig leer (SSL) metodes gebruik gemerkte en bykomende ongemerkte data vir die opleiding van ’n diep leer klassifiseerder. Ons bied ’n outomatiese SSL-metode vir boomspesie-identifikasie vanaf realistiese, natuurlike beelde aan. Ons tweevoudige identifikasiemetode ontgin ongemerkte natuurlike beelde om boomkenmerke te herken, gevolg deur spesieklassifikasie. Die kenmerkherkenningstap onttrek bas- en blaarbeelde outomaties uit beelde met verskeie boomkenmerke met minimale benoemde data. Ons voer vervolgens spesieklassifikasie van 50 gekose boomspesies uit en presteer beter as tradisionele toesigleer-benaderings (SL). Akkurate beeldsegmentering van blare is krities vir die bestudering van plantspesie eienskappe. Huidige blaarsegmenteringsalgoritmes is afhanklik van eenvormige blaar beelde of menslike interaksie. Daarom stel ons ’n outomatiese blaarsegmenteringsmetode voor om inligting uit natuurlike beelde te onttrek. Ons gebruik SSL-kenmerkenningsmodel vir opsporing van blare en bereik die nuutste segmentasie-akkuraatheid.
Description
Thesis (MEng)--Stellenbosch University, 2022.
Keywords
Deep semi-supervised learning, UCTD, Tree species, Multipurpose, Leaf segmentation, Plant speciation