Image and attribute based identification of Protea species
Date
2020-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University.
Abstract
ENGLISH ABSTRACT: The flowering plant genus Protea is a dominant representative for the biodiversity of the Cape Floristic Region in South Africa, and from a conservation point of view important to monitor. The recent surge in popularity of crowd-sourced wildlife monitoring platforms presents opportunities for automatic image based identification, for improved monitoring of species. We consider the problem of identifying the Proteaspecies in a given image with additional (but optional) attributes linked to the observation, such as location, elevation and date. We collect training and test data from a crowd-sourced platform, and find that the Protea identification problem is exacerbated by considerable inter-class similarity, data scarcity, class imbalance, as well as large variations in image quality, composition and background. Our proposed solution consists of three parts. The first part incorporates a variant of multi-region attention into a pretrained convolutional neural network, to focus on the flowerhead in the image. The second part performs coarser-grained classification on subgenera (superclasses) and then rescales the output of the first part. The third part conditions a probabilistic model on the additional attributes associated with the observation. We perform an ablation study on the proposed model and its constituents, and find that all three components together outperform our baselines and all other variants quite significantly.
AFRIKAANSE OPSOMMING: Die blommende plantgenus Proteais ’n dominante verteenwoordiger vir die biodiversiteit van die Kaapse Floristiese Streek in Suid-Afrika. Vir hierdie rede, en uit ’n bewarings oogpunt, is dit dus belangrik om die genus te monitor. Die onlangse toename in gewildheid en gebruik van skare-gebaseerde monitering platforms vir die natuurlike omgewing, bied geleenthede vir outomatiese beeldgebaseerde spesie-identifikasie.Ons oorweeg die probleem om die Proteaspesie in ’n gegewe beeld te identifiseer, met behulp van addisionele (maar opsionele) eienskappe wat aan die waarneming gekoppel is, soos plek en datum. Ons versamel afrigtings- en toetsdata vanaf ’n skare-gebaseerde platform en vind dat die Protea identifikasieprobleem vererger word deuraansienlike interklas-ooreenkomste, dataskaarste, wanbalans in die hoeveelheid data vir elke klas, asook groot variasies in beeldkwaliteit, samestelling en agtergrond. Ons voorgestelde oplossing bestaan uit drie dele. Die eerste deel inkorporeer ’n variant van multi-gebied aandag in ’n vooraf-afgerigte neurale netwerk, om op die blomkop in die beeld te fokus. Die tweede deel voer ’n growwer klassifikasie op subgenusse (superklasse) uit, en skaleer dan die resultate van die eerste deel. Die derde deel kondisioneer ’n waarskynlikheidsmodel met die addisionele eienskappe wat met die waarneming verband hou. Ons voer ’n kombinasie-studie uit oor die voorgestelde model en sy komponente, en vind dat die drie komponente saam, in die voorgestelde wyse, beter presteer as ons basis-modelle en alle ander kombinasies.
AFRIKAANSE OPSOMMING: Die blommende plantgenus Proteais ’n dominante verteenwoordiger vir die biodiversiteit van die Kaapse Floristiese Streek in Suid-Afrika. Vir hierdie rede, en uit ’n bewarings oogpunt, is dit dus belangrik om die genus te monitor. Die onlangse toename in gewildheid en gebruik van skare-gebaseerde monitering platforms vir die natuurlike omgewing, bied geleenthede vir outomatiese beeldgebaseerde spesie-identifikasie.Ons oorweeg die probleem om die Proteaspesie in ’n gegewe beeld te identifiseer, met behulp van addisionele (maar opsionele) eienskappe wat aan die waarneming gekoppel is, soos plek en datum. Ons versamel afrigtings- en toetsdata vanaf ’n skare-gebaseerde platform en vind dat die Protea identifikasieprobleem vererger word deuraansienlike interklas-ooreenkomste, dataskaarste, wanbalans in die hoeveelheid data vir elke klas, asook groot variasies in beeldkwaliteit, samestelling en agtergrond. Ons voorgestelde oplossing bestaan uit drie dele. Die eerste deel inkorporeer ’n variant van multi-gebied aandag in ’n vooraf-afgerigte neurale netwerk, om op die blomkop in die beeld te fokus. Die tweede deel voer ’n growwer klassifikasie op subgenusse (superklasse) uit, en skaleer dan die resultate van die eerste deel. Die derde deel kondisioneer ’n waarskynlikheidsmodel met die addisionele eienskappe wat met die waarneming verband hou. Ons voer ’n kombinasie-studie uit oor die voorgestelde model en sy komponente, en vind dat die drie komponente saam, in die voorgestelde wyse, beter presteer as ons basis-modelle en alle ander kombinasies.
Description
Thesis (MSc)--Stellenbosch University, 2020.
Keywords
Machine learning, Image analysis, Neural networks (Computer science), UCTD, Image processing, Proteaceae -- Identification, Protea -- Monitoring, Crowdsourcing, Convolutions (Mathematics), Computer vision