Convolutional and fully convolutional neural networks for the detection of landmarks in tsetse fly wing images
Date
2021-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Tsetse
flies are a species of bloodsucking
flies in the house
fly family, that are only found in
Africa. They cause animal and human African trypanosomiasis (AAT and HAT), commonly
referred to as nagana and sleeping sickness. Effective tsetse
fly eradication requires area-wide
control, which means understanding the population dynamics of the tsetse
flies in an area.
Among the factors that entomologists believe to be critical to this understanding,
fly size and
fly wing shape are considered most important. Fly size can be deduced by calculating the
distance between specific landmarks on a wing. The South African Centre for Epidemiological
Modelling and Analysis (SACEMA) conducts research into tsetse
fly population management
and have a database of wings. To use landmarks on the wings for biological deductions about
the tsetse
flies in the area, researchers will need to manually annotate individual images of the
wings by marking the important landmarks by hand, which is slow and error-prone.
The purpose of this research is to assess the feasibility of automating the process of landmark
detection in tsetse
fly wing images using machine learning algorithms with a limited dataset.
Extensive research has been done into automatic landmark detection. Particular focus has been
given to detection of human body parts but there are a number of notable cases of animal
landmark detection. Convolutional neural networks (CNNs) have been used as backbone architectures
for most state-of-the-art detection systems. We compare the performance of fully
convolutional networks (FCNs) against conventional LeNet style CNNs for the regression task
of landmark detection in a
fly wing image. The FCN accepts an image input and returns a
segmentation mask as output. A Gaussian function is used to convert the response coordinate
pairs into heat maps, which are combined to form a segmentation mask. After model training
the heat maps produced by the FCN model are converted back to coordinate pairs using a
weighted average method.
Three types of models were trained: a baseline artificial neural network (ANN), LeNet style
CNNs and FCNs. The ANN model had a root mean square error (RMSE) of 282.62 pixels and
mean absolute error (MAE) of 181.33 pixels. The best LeNet model, LeNet3 with dropout,
had an RMSE of 53.58 and MAE of 41.05. The best FCN model FCN8 with batch size 32 and
Adam optimization, had an RMSE of 1.12 and MAE of 0.88. All trained models were best at
predicting landmark points 5, 8 and 10 and struggled to predict landmark points 1, 4 and 6.
The results indicate that machine learning models can be used to automatically and accurately
detect landmark points on tsetse
fly wing images. Furthermore, for our limited dataset FCNs
outperform conventional LeNet style CNNs.
AFRIKAANSE OPSOMMING: Tsetsevliee is 'n spesie bloedsuiende vliee in die huisvliegfamilie, wat slegs in Afrika voorkom. Hulle veroorsaak meestal dierlike en menslike Afrika-trypanosomiasis, ook bekend as nagana en slaapsiekte. Effektiewe uitroei van tsetsevliee benodig beheer van 'n hele gebied, wat beteken dat die bevolkingsdinamika van die tsetsevliee in 'n gebied verstaan word. Onder die faktore wat vir entomoloe van kritieke belang is vir hierdie begrip, is die grootte van die vlieg en vliegvlerkvorm van die belangrikste. Vlieggrootte kan afgelei word deur die afstand tussen spesifieke landmerke op 'n vlerk. Die Suid-Afrikaanse Sentrum vir Epidemiologiese Modellering en Analise (SACEMA) doen navorsing oor die bestuur van tsetsevliegpopulasies en het 'n databasis van vlerke. Om landmerke op die vlerke te gebruik vir biologiese afleidings oor die tsetsevliee in die omgewing, sal navorsers individuele beelde van vlerke moet annoteer deur die belangrike landmerke met die hand te merk, wat stadig en foutief kan wees. Die doel van hierdie navorsing is om die uitvoerbaarheid van die outomatisering van landmerkopsporing in tsetsevliegvlerkbeelde, met behulp van masjienleeralgoritmes op 'n beperkte datastel, te ondersoek. 'n Uitgebreide ondersoek is gedoen na outomatiese opsporing van landmerke. Spesifieke fokus is gegee aan die opsporing van menslike liggaamsdele, maar daar is 'n aantal gevalle van landmerkopsporing in diere. Konvolusionele neurale netwerke (CNN's) word as ruggraat-argitektuur vir die meeste moderne opsporingstelsels gebruik. Ons vergelyk die prestasie van volledig-konvolusionele netwerke (FCN's) teen konvensionele LeNet-styl CNN's, vir die regressietaak van landmerkopsporing in 'n vliegvlerkbeeld. Die FCN aanvaar 'n beeld as toevoer en gee 'n segmenteringsmasker as uitvoer. 'n Gaussiese funksie word gebruik om die responskoordinate om te skakel na hittebeelde, wat saamgevoeg word om 'n segmenteringsmasker te vorm. Na modelafrigting word die hittekaarte wat deur die FCN-model vervaardig word, omgeskakel na ko ordinaatpare met behulp van 'n geweegde gemiddeldes. Drie soorte modelle is afgerig: 'n basiese kunsmatige neurale netwerk (ANN), LeNet-styl CNN's en FCN's. Die ANN-model het 'n wortel-gemiddelde vierkantfout (RMSE) van 282.62 piksels en gemiddelde absolute fout (MAE) van 181.33 piksels. Die beste LeNet-model, LeNet3 met uitval, het 'n RMSE van 53.58 en MAE van 41.05 gehad. Die beste FCN-model, FCN8 met groepgrootte 32 en Adam-optimering, het 'n RMSE van 1.12 en MAE van 0.88 gehad. Alle afgerigte modelle het landmerke 5, 8 en 10 die beste vind, en gesukkel om landmerkpunte 1, 4 en 6 te vind. Die resultate dui aan dat masjienleermodelle outomaties en akkuraat gebruik kan word om landmerkpunte op tsetsevliegvlerkbeelde op te spoor. Verder, vir ons beperkte datastel het FCN's beter presteer as konvensionele LeNet-styl CNN's.
AFRIKAANSE OPSOMMING: Tsetsevliee is 'n spesie bloedsuiende vliee in die huisvliegfamilie, wat slegs in Afrika voorkom. Hulle veroorsaak meestal dierlike en menslike Afrika-trypanosomiasis, ook bekend as nagana en slaapsiekte. Effektiewe uitroei van tsetsevliee benodig beheer van 'n hele gebied, wat beteken dat die bevolkingsdinamika van die tsetsevliee in 'n gebied verstaan word. Onder die faktore wat vir entomoloe van kritieke belang is vir hierdie begrip, is die grootte van die vlieg en vliegvlerkvorm van die belangrikste. Vlieggrootte kan afgelei word deur die afstand tussen spesifieke landmerke op 'n vlerk. Die Suid-Afrikaanse Sentrum vir Epidemiologiese Modellering en Analise (SACEMA) doen navorsing oor die bestuur van tsetsevliegpopulasies en het 'n databasis van vlerke. Om landmerke op die vlerke te gebruik vir biologiese afleidings oor die tsetsevliee in die omgewing, sal navorsers individuele beelde van vlerke moet annoteer deur die belangrike landmerke met die hand te merk, wat stadig en foutief kan wees. Die doel van hierdie navorsing is om die uitvoerbaarheid van die outomatisering van landmerkopsporing in tsetsevliegvlerkbeelde, met behulp van masjienleeralgoritmes op 'n beperkte datastel, te ondersoek. 'n Uitgebreide ondersoek is gedoen na outomatiese opsporing van landmerke. Spesifieke fokus is gegee aan die opsporing van menslike liggaamsdele, maar daar is 'n aantal gevalle van landmerkopsporing in diere. Konvolusionele neurale netwerke (CNN's) word as ruggraat-argitektuur vir die meeste moderne opsporingstelsels gebruik. Ons vergelyk die prestasie van volledig-konvolusionele netwerke (FCN's) teen konvensionele LeNet-styl CNN's, vir die regressietaak van landmerkopsporing in 'n vliegvlerkbeeld. Die FCN aanvaar 'n beeld as toevoer en gee 'n segmenteringsmasker as uitvoer. 'n Gaussiese funksie word gebruik om die responskoordinate om te skakel na hittebeelde, wat saamgevoeg word om 'n segmenteringsmasker te vorm. Na modelafrigting word die hittekaarte wat deur die FCN-model vervaardig word, omgeskakel na ko ordinaatpare met behulp van 'n geweegde gemiddeldes. Drie soorte modelle is afgerig: 'n basiese kunsmatige neurale netwerk (ANN), LeNet-styl CNN's en FCN's. Die ANN-model het 'n wortel-gemiddelde vierkantfout (RMSE) van 282.62 piksels en gemiddelde absolute fout (MAE) van 181.33 piksels. Die beste LeNet-model, LeNet3 met uitval, het 'n RMSE van 53.58 en MAE van 41.05 gehad. Die beste FCN-model, FCN8 met groepgrootte 32 en Adam-optimering, het 'n RMSE van 1.12 en MAE van 0.88 gehad. Alle afgerigte modelle het landmerke 5, 8 en 10 die beste vind, en gesukkel om landmerkpunte 1, 4 en 6 te vind. Die resultate dui aan dat masjienleermodelle outomaties en akkuraat gebruik kan word om landmerkpunte op tsetsevliegvlerkbeelde op te spoor. Verder, vir ons beperkte datastel het FCN's beter presteer as konvensionele LeNet-styl CNN's.
Description
Thesis (MSc)--Stellenbosch University, 2021.
Keywords
Computer vision, Landmark detection -- Automation, Convolutional neural networks, Fully convolutional neural networks, Convolutions (Mathematics), Tsetse fly populations -- Mathematical models, Machine learning, UCTD