A deep learning approach to landmark detection in tsetse fly wing images
Date
2021-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Single-wing images were captured from 14,354 pairs of field-collected tsetse wings of
species Glossina pallidipes and G. m. morsitans, and analysed together with relevant
biological recordings. To answer research questions regarding these flies, we need to
locate 11 anatomical landmark coordinates (x; y) on each wing. The manual location of
landmarks is time-consuming, prone to error, and simply infeasible given the number
of images. Automatic landmark detection has been proposed to locate these landmark
coordinates.
We developed a two-tier method using deep learning architectures to classify images and
make accurate landmark predictions. The first tier used a classification convolutional
neural network to remove most wings that were missing landmarks. The second tier
provided landmark coordinates for the remaining wings. For the second tier, we compared
direct coordinate regression using a convolutional neural network and segmentation using
a fully convolutional network. For the resulting landmark predictions, we evaluate shape
bias using Procrustes analysis. We employ a data-centric approach paying particular
attention to consistent labelling and data augmentations in training data to improve
model performance.
The classification model used for the first tier achieved perfect classification on the
test set. The regression and segmentation models achieved a mean pixel distance error
of 5.34 (95% CI [3,7]) and 3.43 (95% CI [1.9,4.4]) respectively on 1024 1280 images.
Segmentation had a higher computational complexity and some large outliers. Both
models showed minimal shape bias.
Using this two-tier deep learning approach, we accurately filtered damaged tsetse wings
with missing landmarks and provided precise landmark coordinates for the remaining
wings. We chose to deploy the regression model on the complete un-annotated data since
the regression model had a lower computational cost and more stable predictions than
the segmentation model.
AFRIKAANSE OPSOMMING: Enkelvlerkbeelde is geneem uit 14 354 pare veldversamelde tsetse-vlieg vlerke van spesies textit Glossina pallidipes en textit G. m. morsitans, en saam met relevante biologiese metings ontleed. Om navorsingsvrae rakende hierdie vlie e te beantwoord, moet ons 11 anatomiese landmerkko ordinate (x; y) op elke vlerk vind. Aangesien die handmatige identifisering van landmerke tydrowend en vatbaar is vir foute, het ons diepleer algoritmes geleer om die ko ordinate van elke landmerk op te spoor. Ons het 'n tweeledige metode ontwikkel met behulp van diepleer argitekture om beelde te klassifiseer en akkurate voorspellings vir die landmerk te maak. Eerstens het ons 'n klassifikasie-konvolusionele neurale netwerk gebruik om die meeste vlerke wat landmerke ontbreek, te verwyder. Tweedens het ons belangrike ko ordinate vir die oorblywende vlerke verskaf. Vir hierdie stap het ons direkte ko ordinaatregressie met 'n konvolusionele neurale netwerk en segmentering met 'n volledig konvolusionele netwerk vergelyk. Vir die gevolglike landmerkvoorspellings, evalueer ons vorm sydigheid met behulp van Procrustesanalise. Ons gebruik 'n data-sentriese benadering met spesiale aandag aan konsekwente etikettering en aanvulling van modelberamingsdata om modelprestasie te verbeter. Die klassifikasiemodel wat vir die eerste stap gebruik is, het 'n perfekte klassifikasie op die toets datastel behaal. Die regressie- en segmenteringsmodelle behaal 'n gemiddelde pixelafstandfout van 5.34 (95% CI [3,7]) en 3.43 (95% CI [1.9,4.4]) onderskeidelik op 1024 1280 beelde. Segmentasie het 'n ho er berekeningskompleksiteit en 'n paar groot uitskieters. Beide modelle het minimale vorm sydigheid getoon. Deur hierdie tweeledige benadering tot diepleer te gebruik, het ons beskadigde tsetsevlerke akkuraat gefiltreer met ontbrekende landmerke en presiese ko ordinate vir die oorblywende vlerke verskaf. Ons het gekies om die regressiemodel op die volledige ongeannoteerde data te implementeer, aangesien die regressiemodel 'n laer berekeningskoste en meer stabiele voorspellings het as die segmenteringsmodel.
AFRIKAANSE OPSOMMING: Enkelvlerkbeelde is geneem uit 14 354 pare veldversamelde tsetse-vlieg vlerke van spesies textit Glossina pallidipes en textit G. m. morsitans, en saam met relevante biologiese metings ontleed. Om navorsingsvrae rakende hierdie vlie e te beantwoord, moet ons 11 anatomiese landmerkko ordinate (x; y) op elke vlerk vind. Aangesien die handmatige identifisering van landmerke tydrowend en vatbaar is vir foute, het ons diepleer algoritmes geleer om die ko ordinate van elke landmerk op te spoor. Ons het 'n tweeledige metode ontwikkel met behulp van diepleer argitekture om beelde te klassifiseer en akkurate voorspellings vir die landmerk te maak. Eerstens het ons 'n klassifikasie-konvolusionele neurale netwerk gebruik om die meeste vlerke wat landmerke ontbreek, te verwyder. Tweedens het ons belangrike ko ordinate vir die oorblywende vlerke verskaf. Vir hierdie stap het ons direkte ko ordinaatregressie met 'n konvolusionele neurale netwerk en segmentering met 'n volledig konvolusionele netwerk vergelyk. Vir die gevolglike landmerkvoorspellings, evalueer ons vorm sydigheid met behulp van Procrustesanalise. Ons gebruik 'n data-sentriese benadering met spesiale aandag aan konsekwente etikettering en aanvulling van modelberamingsdata om modelprestasie te verbeter. Die klassifikasiemodel wat vir die eerste stap gebruik is, het 'n perfekte klassifikasie op die toets datastel behaal. Die regressie- en segmenteringsmodelle behaal 'n gemiddelde pixelafstandfout van 5.34 (95% CI [3,7]) en 3.43 (95% CI [1.9,4.4]) onderskeidelik op 1024 1280 beelde. Segmentasie het 'n ho er berekeningskompleksiteit en 'n paar groot uitskieters. Beide modelle het minimale vorm sydigheid getoon. Deur hierdie tweeledige benadering tot diepleer te gebruik, het ons beskadigde tsetsevlerke akkuraat gefiltreer met ontbrekende landmerke en presiese ko ordinate vir die oorblywende vlerke verskaf. Ons het gekies om die regressiemodel op die volledige ongeannoteerde data te implementeer, aangesien die regressiemodel 'n laer berekeningskoste en meer stabiele voorspellings het as die segmenteringsmodel.
Description
Thesis (MSc)--Stellenbosch University, 2021.
Keywords
Deep learning (Machine learning), Tsetse fly populations -- Mathematical models, Landmark detection, Morphometrics, Computer vision, Convolutional neural networks, Image segmentation, GMDH algorithms, UCTD