The use of bayesian neural networks in thyroid cancer classification
Date
2023-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY: Artificial Neural Networks form a class of machine learning models that can be used to model complex relationships between variables. They are used in an innumerable number of practical applications toward solving real-world problems. However, one of the limitations of conventional neural networks is that they are not designed to accurately quantify uncertainty in network predictions. A possible solution to this problem is the use of Bayesian inference to introduce stochasticity in neural networks. For example, Bayesian neural networks assign a prior distribution to the neural network weight parameters. The posterior distribution is then derived by means of variational inference algorithms. Bayesian neural networks are currently successfully used in a wide variety of applications. Since they are particularly useful in settings where quantification of uncertainty in prediction is important, a key application area for Bayesian neural networks is the medical field. We investigate the use of Bayesian Neural Networks in thyroid cancer classification. Thyroid cancer diagnosis is a difficult task. Therefore, developing models yielding predictions of cancer stages, with accurate associated risks, can be a worthwhile contribution. In our empirical work, we thus focus on the classification of thyroid cancer by means of Bayesian neural networks. More specifically, since we use data that consist of ultrasound images, we fit Bayesian Convolutional Neural Networks for image classification. Modified versions of the LeNet-5, AlexNet and GoogLeNet network architectures are considered. Most of the different architectures, adapted for Bayesian inference, are found to perform slightly better than the corresponding conventional network architectures. In addition, Bayesian aleatoric and epistemic uncertainties are reported for each model. This uncertainty quantification may be considered a sensible contribution.
AFRIKAANSE OPSOMMING: Kunsmatige Neurale Netwerke vorm 'n klas masjienleer modelle wat gebruik kan word om komplekse verwantskappe tussen veranderlikes te modelleer. Neurale netwerke word gebruik in 'n groot aantal praktiese toepassings ten einde impakvolle probleme aan te pak. Een van die beperkings van konvensionele neurale netwerke is egter dat hulle nie ontwerp is om onsekerheid in netwerk beramings te kwantifiseer nie. 'n Moontlike oplossing vir hierdie probleem is die gebruik van Bayes inferensie om stogastisiteit in neural netwerke te induseer. Byvoorbeeld, Bayes neurale netwerke ken 'n prior verdeling toe aan die neurale netwerk gewig-parameters. Die posterior verdeling word dan herlei deur gebruik te maak van variasie inferensie algoritmes. Bayes neurale netwerke word tans suksesvol gebruik in 'n wye verskeidenheid toepassings. Aangesien hulle in besonder nuttig is in scenarios waar kwantifisering van onsekerheid in beraming noodsaaklik is, is die mediese veld 'n belangrike toepassings-area vir Bayes neurale netwerke. Die gebruik van Bayes neurale netwerke in skildklier kanker klassifikasie word ondersoek. Skildklier kanker-diagnose is 'n moeilike taak. Derhalwe kan die ontwikkeling van modelle wat kanker stadia kan identifiseer, met ooreenstemmende akkurate risiko's, 'n betekenisvolle bydrae wees. In die empiriese deel van die studie is die fokus dus op die klassifikasie van skildklier kanker met behulp van Bayes neurale netwerke. Meer spesifiek, aangesien die data wat gebruik word bestaan uit ultraklank foto's, word Bayes konvolusie neurale netwerke vir foto-klassifikasie toegepas. Gewysigde weergawes van die LeNet-5, AlexNet en GoogLeNet netwerk argitekture word beskou. Die bevinding is dat meeste van die verskillende argitekture, aangepas vir Bayes inferensie, effens beter vaar as die ooreenstemmende konvensionele netwerk argitekture. Die Bayes aleatoriese en epistemiese onsekerhede word ook vir elke model rapporteer. Hierdie kwantifisering van onsekerheid kan beskou word as 'n sinvolle bydrae.
AFRIKAANSE OPSOMMING: Kunsmatige Neurale Netwerke vorm 'n klas masjienleer modelle wat gebruik kan word om komplekse verwantskappe tussen veranderlikes te modelleer. Neurale netwerke word gebruik in 'n groot aantal praktiese toepassings ten einde impakvolle probleme aan te pak. Een van die beperkings van konvensionele neurale netwerke is egter dat hulle nie ontwerp is om onsekerheid in netwerk beramings te kwantifiseer nie. 'n Moontlike oplossing vir hierdie probleem is die gebruik van Bayes inferensie om stogastisiteit in neural netwerke te induseer. Byvoorbeeld, Bayes neurale netwerke ken 'n prior verdeling toe aan die neurale netwerk gewig-parameters. Die posterior verdeling word dan herlei deur gebruik te maak van variasie inferensie algoritmes. Bayes neurale netwerke word tans suksesvol gebruik in 'n wye verskeidenheid toepassings. Aangesien hulle in besonder nuttig is in scenarios waar kwantifisering van onsekerheid in beraming noodsaaklik is, is die mediese veld 'n belangrike toepassings-area vir Bayes neurale netwerke. Die gebruik van Bayes neurale netwerke in skildklier kanker klassifikasie word ondersoek. Skildklier kanker-diagnose is 'n moeilike taak. Derhalwe kan die ontwikkeling van modelle wat kanker stadia kan identifiseer, met ooreenstemmende akkurate risiko's, 'n betekenisvolle bydrae wees. In die empiriese deel van die studie is die fokus dus op die klassifikasie van skildklier kanker met behulp van Bayes neurale netwerke. Meer spesifiek, aangesien die data wat gebruik word bestaan uit ultraklank foto's, word Bayes konvolusie neurale netwerke vir foto-klassifikasie toegepas. Gewysigde weergawes van die LeNet-5, AlexNet en GoogLeNet netwerk argitekture word beskou. Die bevinding is dat meeste van die verskillende argitekture, aangepas vir Bayes inferensie, effens beter vaar as die ooreenstemmende konvensionele netwerk argitekture. Die Bayes aleatoriese en epistemiese onsekerhede word ook vir elke model rapporteer. Hierdie kwantifisering van onsekerheid kan beskou word as 'n sinvolle bydrae.
Description
Thesis (MCom)--Stellenbosch University, 2023.