Automated elephant detection and classification from aerial infrared and colour images using deep learning
Date
2018-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT : In this study we attempt to detect and classify elephants in aerial images using deep learning.
This is not a trivial task even for a human since elephants naturally blend in with their surroundings,
making it a challenging and meaningful problem to solve. Possible applications of this work
extend into general animal conservation and search-and-rescue operations, with natural extension
to satellite imagery as input source.
We create a region proposal algorithm that relies on digital image processing techniques and
morphological operations on infrared images that correspond to the RGB images. The goal is to
create a fast and computationally cheap algorithm that reduces the work that needs to be done
by our deep learning classification models. The algorithm reaches our accuracy goal, detecting
98% of all ground truth elephants in the dataset. The resulting regions are mapped onto the corresponding
RGB images using a plane-to-plane homography along with adjustment heuristics to
overcome alignment issues caused by sensor vibration.
We train multiple convolutional neural network models, using various network architectures
and weight initialisation techniques, including transfer learning. Two sets of models were trained,
in 2015 and 2017 respectively, using different techniques, software, and hardware. The best performing
model reduces the manual verification workload by 97% while missing only 1% of the
elephants detected by the region proposal algorithm.
We find that convolutional neural networks, as well as the advancements in deep learning,
hold significant promise in detecting elephants from aerial images for real world applications
AFRIKAANSE OPSOMMING : In hierdie studie poog ons om olifante in lugfoto’s op te spoor en te klassifiseer, deur van diepleer gebruik te maak. Selfs vir ’n mens is dit nie ’n triviale taak nie, aangesien olifante natuurlik met hul omgewing inmeng, en dit maak die probleem uitdagend en betekenisvol. Moontlike toepassings van hierdie werk strek tot algemene dierebewaring en soek-en-reddingsoperasies, ook met natuurlike uitbreiding na satellietbeelde vir insetbron. Ons skep ’n gebiedsvoorstel-algoritme wat staatmaak op digitale beeldverwerkingstegnieke en morfologiese bewerkings op infrarooibeelde wat ooreenstem met die kleurbeelde. Die doel is om ’n vinnige en berekeningsvriendelike algoritme te skep, wat die werk van ons diepleer klassifikasiemodelle sal verminder. Die algoritme bereik ons akkuraatheidsdoelwit, en spoor 98% van alle ware olifante in die datastel op. Gevolglik word gebiede afgebeeld na die ooreenstemmende kleurbeelde, met behulp van ’n vlak-na-vlak homografie tesame met heuristiese aanpassings om inherente belyningskwessies (wat deur sensorvibrasies onstaan) aan te spreek. Ons rig verskeie konvolusionele neurale netwerke af, met verskeie argitekture en gewigsinisialiseringstegnieke, insluitende oordragsleer. Twee stelle modelle is afgerig, in 2015 en 2017 onderskeidelik, met die gebruik van verskillende tegnieke, sagteware en hardeware. Die bespresterende model verminder die werkslading van menslike verifikasie met 97%, terwyl slegs 1% van die olifante wat deur die gebiedsvoorstel-algoritme opgespoor is, gemis word. Ons vind dat konvolusionele neurale netwerke, sowel as verbeteringe in diepleer, baie belowend voorkom vir die opsporing van olifante uit lugfoto’s vir werklike-wêreldtoepassings.
AFRIKAANSE OPSOMMING : In hierdie studie poog ons om olifante in lugfoto’s op te spoor en te klassifiseer, deur van diepleer gebruik te maak. Selfs vir ’n mens is dit nie ’n triviale taak nie, aangesien olifante natuurlik met hul omgewing inmeng, en dit maak die probleem uitdagend en betekenisvol. Moontlike toepassings van hierdie werk strek tot algemene dierebewaring en soek-en-reddingsoperasies, ook met natuurlike uitbreiding na satellietbeelde vir insetbron. Ons skep ’n gebiedsvoorstel-algoritme wat staatmaak op digitale beeldverwerkingstegnieke en morfologiese bewerkings op infrarooibeelde wat ooreenstem met die kleurbeelde. Die doel is om ’n vinnige en berekeningsvriendelike algoritme te skep, wat die werk van ons diepleer klassifikasiemodelle sal verminder. Die algoritme bereik ons akkuraatheidsdoelwit, en spoor 98% van alle ware olifante in die datastel op. Gevolglik word gebiede afgebeeld na die ooreenstemmende kleurbeelde, met behulp van ’n vlak-na-vlak homografie tesame met heuristiese aanpassings om inherente belyningskwessies (wat deur sensorvibrasies onstaan) aan te spreek. Ons rig verskeie konvolusionele neurale netwerke af, met verskeie argitekture en gewigsinisialiseringstegnieke, insluitende oordragsleer. Twee stelle modelle is afgerig, in 2015 en 2017 onderskeidelik, met die gebruik van verskillende tegnieke, sagteware en hardeware. Die bespresterende model verminder die werkslading van menslike verifikasie met 97%, terwyl slegs 1% van die olifante wat deur die gebiedsvoorstel-algoritme opgespoor is, gemis word. Ons vind dat konvolusionele neurale netwerke, sowel as verbeteringe in diepleer, baie belowend voorkom vir die opsporing van olifante uit lugfoto’s vir werklike-wêreldtoepassings.
Description
Thesis (MSc)--Stellenbosch University, 2018.
Keywords
Neural networks, Computer vision -- Africa, Deep learning, Elephants -- Africa -- Census, UCTD, Image detection, Image classification