Investigating fully convolutional networks for bio-image segmentation
Date
2018-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT : Bio-image analysis is a useful tool for life science researchers with a wide
variety of potential applications. A specific area of interest is applying semantic
segmentation methods to bio-images, which is challenging due to the typically
small data sets in this application area. Neural networks have shown great
promise in both general image segmentation problems, as well as bio-image
segmentation problems. A recently developed class of neural networks, Fully
Convolutional Networks (FCNs), have shown state-of-the-art performance on
various semantic segmentation tasks.
This thesis provides a thorough investigation into FCN architectures and
their use in the semantic segmentation of two bio-image data sets. FCNs have
been shown to provide improved performance over regular convolutional neural
networks (CNNs). This work starts by comparing these two classes of networks
by applying a CNN and three FCNs on the Broad Institute’s Caenorhabditis
elegans data set. We showed that the three FCNs performed better on the
task of semantic segmentation and provide key insights into the difference in
their performance.
Recent FCNs can be characterized by two main design aspects: the number
of pooling steps in the architecture, and the presence or absence of skip connections.
In existing literature, these hyperparameters are typically used without
a detailed analysis of their effects. We build on this work by investigating
these design aspects and determine their contribution towards the overall performance
of the network. Using the recently presented U-net architecture and
the accompanying nerve cell membrane data set, this investigation revealed that: (1) increasing the depth of the network by adding additional pooling
steps could improve performance up to a (hypothesized) domain-specific saturation
point (assuming the inclusion of the necessary skip connections), and
(2) each skip connection in the architecture appears to make a different contribution
towards the behavior of the network, with some skip connections being
more important than others. These findings could provide a better understanding
on how to construct new FCN architectures for future applications.
We complete this investigation by exploring the possibility of performing
end-to-end unsupervised learning as a pre-training technique, and test
the resulting models on both fully labeled bio-image data and artificially created
partially labeled bio-image data. We proposed a novel augmentation to
FCN architectures which allows them to undergo end-to-end unsupervised pretraining.
We showed that our unsupervised pre-training approach provides a
significant reduction in the variance of the performance of the models. We
then applied the supervised version and the pre-trained version of the U-net
model on various amounts of partially labeled data, and found that the FCNs
are capable of reaching competitive performance with as little as 0.2% of the
original pixel labels.
The results generated in this thesis provide the foundation for further research
into a more sophisticated unsupervised pre-training approach. Such
an approach might reduce the need for fully annotated bio-image data, consequently
reducing the time and financial resources required to perform the
annotations.
AFRIKAANSE OPSOMMING : Biobeeldanalise is ’n handige tekniek middel vir navorsers in die lewenswetenskappe met ’n wye verskeidenheid van potensiële toepassings. ’n Spesifieke area van belangstelling is om semantiese segmentasiemetodes toe te pas op biobeelde, wat veral uitdagend is as gevolg van die tipies klein datastelle in hierdie toepassingsgebied. Neurale netwerke het besonderse belofte getoon in beide algemene beeldsegmentasieprobleme, sowel as biobeeldsegmentasieprobleme. ’n Onlangs ontwikkelde klas van neurale netwerke, Volledig Konvolusionele Netwerke (VKNe), het baanbrekerprestasie getoon op verskeie semantiese segmentasietake. Hierdie tesis onderneem ’n deeglike ondersoek van VKN argitekture en die gebruik daarvan in die semantiese segmentering van twee biobeeld datastelle. VKNe het al verbeterde prestasie getoon oor gewone konvolusionele neurale netwerke (KNNe). Hierdie werk begin deur dié twee klasse van netwerke te vergelyk met die toepassing van ’n KNN en drie VKNe op die Broad Instituut se Caenorhabditis elegans datastel. Ons wys dat die drie VKNe beter presteer op hierdie semantiese segmentasietaak en verskaf belangrike insigte ten opsigte van die verskille in hul prestasies. Onlangse VKNe kan gekarakteriseer word deur twee hoof ontwerpsaspekte: die aantal vernouingstappe in die argitektuur en die teenwoordigheid of afwesigheid van oorslaanverbindings. In bestaande literatuur word hierdie hiperparameters tipies gebruik sonder ’n gedetailleerde analise van hul effekte. Ons bou op hierdie werk deur hierdie ontwerpsaspekte en hul bydrae tot die algehele prestasie van die netwerk te ondersoek. Met die gebruik van die Unet argitektuur en die meegaande senuweeselmembraan datastel, het hierdie ondersoek die volgende twee bevindinge aan die lig gebring: (1) die verdieping van die netwerk deur addisionele vernouingsstappe by te voeg kan prestasie verbeter tot ’n (vermoedelik) domein-spesifieke versadigingspunt (met die veronderstelling dat die nodige oorslaanverbindings teenwoordig is), en (2) elke oorslaanverbinding in die argitektuur lewer ’n unieke bydrae tot die algehele gedrag van die netwerk, met somige oorslaanverbindings meer belangrik as ander. Hierdie bevindinge kan ’n beter begrip verskaf oor hoe om nuwe VKN argitekture te bou vir toekomstige toepassings. Ons voltooi hierdie ondersoek deur die moontlikheid van punt-tot-punt onbegeleide afrigtingte ondersoek as ’n vooraf-afrigtingstegniek, en toets die voortspruitende modelle op beide volledig geannoteerde biobeelde en kunsmatige gedeeltelik geannoteerde biobeelde. Ons ontwikkel ’n nuwe uitbreiding tot VKN argitekture wat hul toelaat om punt-tot-punt onbegeleide afrigting te ondergaan. Ons wys dat ons onbegeleide vooraf-afrigtingstegniek lei na ’n beduidende vermindering in die variansie van die prestasie van die modelle. Ons het toe beide die begeleide weergawe en die vooraf-afgerigte weergawe van die U-net model toegepas op verskeie vlakke van gedeeltelik geannoteerde data, en bevind dat die VKNe bereik byna baanbrekersprestasie met so min as 0:2% van die oorspronklike data etikette. Die resultate bevat in hierdie tesis vorm ’n basis vir verdere ondersoek na ’n meer gesofistikeerde onbegeleide vooraf-afrigtingstegniek. So ’n tegniek kan die behoefte aan volledig geannoteerde biobeelde verminder en gevolglik ook die tyd en finansiële hulpbronne wat benodig word vir data annoteer verminder.
AFRIKAANSE OPSOMMING : Biobeeldanalise is ’n handige tekniek middel vir navorsers in die lewenswetenskappe met ’n wye verskeidenheid van potensiële toepassings. ’n Spesifieke area van belangstelling is om semantiese segmentasiemetodes toe te pas op biobeelde, wat veral uitdagend is as gevolg van die tipies klein datastelle in hierdie toepassingsgebied. Neurale netwerke het besonderse belofte getoon in beide algemene beeldsegmentasieprobleme, sowel as biobeeldsegmentasieprobleme. ’n Onlangs ontwikkelde klas van neurale netwerke, Volledig Konvolusionele Netwerke (VKNe), het baanbrekerprestasie getoon op verskeie semantiese segmentasietake. Hierdie tesis onderneem ’n deeglike ondersoek van VKN argitekture en die gebruik daarvan in die semantiese segmentering van twee biobeeld datastelle. VKNe het al verbeterde prestasie getoon oor gewone konvolusionele neurale netwerke (KNNe). Hierdie werk begin deur dié twee klasse van netwerke te vergelyk met die toepassing van ’n KNN en drie VKNe op die Broad Instituut se Caenorhabditis elegans datastel. Ons wys dat die drie VKNe beter presteer op hierdie semantiese segmentasietaak en verskaf belangrike insigte ten opsigte van die verskille in hul prestasies. Onlangse VKNe kan gekarakteriseer word deur twee hoof ontwerpsaspekte: die aantal vernouingstappe in die argitektuur en die teenwoordigheid of afwesigheid van oorslaanverbindings. In bestaande literatuur word hierdie hiperparameters tipies gebruik sonder ’n gedetailleerde analise van hul effekte. Ons bou op hierdie werk deur hierdie ontwerpsaspekte en hul bydrae tot die algehele prestasie van die netwerk te ondersoek. Met die gebruik van die Unet argitektuur en die meegaande senuweeselmembraan datastel, het hierdie ondersoek die volgende twee bevindinge aan die lig gebring: (1) die verdieping van die netwerk deur addisionele vernouingsstappe by te voeg kan prestasie verbeter tot ’n (vermoedelik) domein-spesifieke versadigingspunt (met die veronderstelling dat die nodige oorslaanverbindings teenwoordig is), en (2) elke oorslaanverbinding in die argitektuur lewer ’n unieke bydrae tot die algehele gedrag van die netwerk, met somige oorslaanverbindings meer belangrik as ander. Hierdie bevindinge kan ’n beter begrip verskaf oor hoe om nuwe VKN argitekture te bou vir toekomstige toepassings. Ons voltooi hierdie ondersoek deur die moontlikheid van punt-tot-punt onbegeleide afrigtingte ondersoek as ’n vooraf-afrigtingstegniek, en toets die voortspruitende modelle op beide volledig geannoteerde biobeelde en kunsmatige gedeeltelik geannoteerde biobeelde. Ons ontwikkel ’n nuwe uitbreiding tot VKN argitekture wat hul toelaat om punt-tot-punt onbegeleide afrigting te ondergaan. Ons wys dat ons onbegeleide vooraf-afrigtingstegniek lei na ’n beduidende vermindering in die variansie van die prestasie van die modelle. Ons het toe beide die begeleide weergawe en die vooraf-afgerigte weergawe van die U-net model toegepas op verskeie vlakke van gedeeltelik geannoteerde data, en bevind dat die VKNe bereik byna baanbrekersprestasie met so min as 0:2% van die oorspronklike data etikette. Die resultate bevat in hierdie tesis vorm ’n basis vir verdere ondersoek na ’n meer gesofistikeerde onbegeleide vooraf-afrigtingstegniek. So ’n tegniek kan die behoefte aan volledig geannoteerde biobeelde verminder en gevolglik ook die tyd en finansiële hulpbronne wat benodig word vir data annoteer verminder.
Description
Thesis (MSc)--Stellenbosch University, 2018.
Keywords
Deep learning, Neural networks (Computer science), Machine learning, Bioimage informatics