Practical probabilistic systems for satellite image segmentation and classifcation
Date
2020-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This thesis undertakes the task of satellite image classification from a probabilistic perspective. Our probabilistic approach is motivated by using uncertainty to address the lack of data and variability in satellite image data. In the interest of producing accurate models, we adopt Bayesian
neural networks (BNNs) as the primary focus for classification models which offer a way of combining uncertainty estimation with the expressive power of deep learning. Furthermore, due to the limited communication bandwidth of a satellite, we require the model to run on-board a satellite which introduces major computational constraints. BNNs can also be designed to introduce sparsity providing a computationally efficient solution. Despite these advantages, BNNs are rarely used in practice as they are difficult to train. We discuss the most recent advances in variational techniques, including Monte-Carlo variational inference, stochastic optimisation, the reparametrisation trick, and local reparametrisation trick. However, even with these advances
BNNs often still suffer from crippling gradient variance. In an attempt to understand this we study the relationship between probabilistic modelling and stochastic regularisation techniques, setting the foundation for practical uncertainty estimators, compression techniques and a signal propagation analysis of BNNs. Using this understanding we present an innovation using signal propagation theory to propose a self-stabilising prior that improves robustness in training.
We then discuss techniques for incorporating spatial information making use of probabilistic graphical models (PGMs). We connect the output of pixel classifications of a BNN to a PGM, developing a probabilistic system. This uses the uncertainty of the classifier, together with the
contextual information of neighbouring pixels, to have a de-noising effect on the classifier output.
Finally, we experimentally evaluate a series of Bayesian and deterministic models for satellite image classification. We see that Bayesian methods excel in situations where data is scarce. We also see that BNNs are able to achieve levels of accuracy comparable to modern deep learning
while either remaining well-calibrated in comparison to deterministic methods, or able to yield extremely sparse solutions requiring only 3 % of the original weights. In addition, we qualitatively illustrate the value of models that recognise their fallibility and incorporating them into
probabilistic systems which can reason automatically and dynamically incorporate information from different sources depending on the certainty of each source.
AFRIKAANSE OPSOMMING: Hierdie tesis onderneem satelliet beeld klassifikasie vanuit ’n probabilistiese benadering. Ons probabilistiese benadering is gemotiveer deur die gebruik van onsekerheid om die gebrek aan en veranderlikheid in satelliet data te adresseer. Om akkurate modelle te verseker maak ons hoofsaaklik gebruik van “Bayesian neural networks” (BNNs). BNNs verskaf ’n manier om onsekerheid skatting met die modellering krag van “deep learning” te kombineer. Daarbenewens, weens beperkte kommunikasie bandwydte van ’n satelliet, behoort die model op die te kan satelliet opereer wat groot rekenkundige beperkings voorstel. BNNs kan ook ontwerp word om parameters te verwyder wat gevolglik koste effektiewe oplossings verskaf. Ten spyte van hierdie voordele word BNNs selde gebruik want in praktyk kan die opleiding van die modelle geweldig moeilik wees. Ons bespreek onlangse vernuwings in variasionele tegnieke, wat “Monte-Carlo variational inference”, “stochastic optimisation”, die “reparametrisation trick” en “local reparametrisation trick” insluit. Ons bestudeer ook die verwantskap tussen BNNs en stogastiese regularisering tegnieke wat die fondament vir praktiese onsekerheid skatters, kompressie tegnieke en ’n sein voortplanting analise van BNNs lˆe. Hierdie tegnieke het Bayesiese diep-leer moontlik gemaak, maar die tegnieke ly steeds aan skadelike gradi¨ent variansie. Ons spreek hierdie aan met ’n innovasie met die gebruik van sein voortplanting teorie om ’n self-stabiliserende prior voor te stel wat opleiding robuust maak. Daarna bespreek ons die gebruik van probabilistiese grafiese modelle (PGMs) om ruimtelike inligting te inkorporeer. Ons verbind die uitset van die klassifikasie model aan ’n PGM, om ’n probabilistiese stelsel te ontwikkel. Dit gebruik die onsekerheid van die klassifiseerder in kombinasie met die kontekstuele inligting van die naburige pixels wat die uitset skoon maak. Laastens maak ons ’n eksperimentele evaluering van ’n reeks van Bayesiese en deterministiese modelle op satelliet beeld klassifikasie. Ons neem waar dat Bayesiese modelle presteer in situasies waar data skaars is. Ons sien ook dat BNNs diep-leer vlakke van akkuraatheid bereik terwyl hulle ´of, goed gekalibreer bly in vergelyking met deterministiese metodes, ´of in staat is om uiters koste effektiewe oplossings te lewer, wat net 3 % van die oorspronklike parameters vereis. Daarbenewens, ondersoek ons die waarde van modelle wat hul feilbaarheid kan herken wat stelsels gee wat dinamies inligting van verskeie bronne kan inkorporeer en outomaties redeneer.
AFRIKAANSE OPSOMMING: Hierdie tesis onderneem satelliet beeld klassifikasie vanuit ’n probabilistiese benadering. Ons probabilistiese benadering is gemotiveer deur die gebruik van onsekerheid om die gebrek aan en veranderlikheid in satelliet data te adresseer. Om akkurate modelle te verseker maak ons hoofsaaklik gebruik van “Bayesian neural networks” (BNNs). BNNs verskaf ’n manier om onsekerheid skatting met die modellering krag van “deep learning” te kombineer. Daarbenewens, weens beperkte kommunikasie bandwydte van ’n satelliet, behoort die model op die te kan satelliet opereer wat groot rekenkundige beperkings voorstel. BNNs kan ook ontwerp word om parameters te verwyder wat gevolglik koste effektiewe oplossings verskaf. Ten spyte van hierdie voordele word BNNs selde gebruik want in praktyk kan die opleiding van die modelle geweldig moeilik wees. Ons bespreek onlangse vernuwings in variasionele tegnieke, wat “Monte-Carlo variational inference”, “stochastic optimisation”, die “reparametrisation trick” en “local reparametrisation trick” insluit. Ons bestudeer ook die verwantskap tussen BNNs en stogastiese regularisering tegnieke wat die fondament vir praktiese onsekerheid skatters, kompressie tegnieke en ’n sein voortplanting analise van BNNs lˆe. Hierdie tegnieke het Bayesiese diep-leer moontlik gemaak, maar die tegnieke ly steeds aan skadelike gradi¨ent variansie. Ons spreek hierdie aan met ’n innovasie met die gebruik van sein voortplanting teorie om ’n self-stabiliserende prior voor te stel wat opleiding robuust maak. Daarna bespreek ons die gebruik van probabilistiese grafiese modelle (PGMs) om ruimtelike inligting te inkorporeer. Ons verbind die uitset van die klassifikasie model aan ’n PGM, om ’n probabilistiese stelsel te ontwikkel. Dit gebruik die onsekerheid van die klassifiseerder in kombinasie met die kontekstuele inligting van die naburige pixels wat die uitset skoon maak. Laastens maak ons ’n eksperimentele evaluering van ’n reeks van Bayesiese en deterministiese modelle op satelliet beeld klassifikasie. Ons neem waar dat Bayesiese modelle presteer in situasies waar data skaars is. Ons sien ook dat BNNs diep-leer vlakke van akkuraatheid bereik terwyl hulle ´of, goed gekalibreer bly in vergelyking met deterministiese metodes, ´of in staat is om uiters koste effektiewe oplossings te lewer, wat net 3 % van die oorspronklike parameters vereis. Daarbenewens, ondersoek ons die waarde van modelle wat hul feilbaarheid kan herken wat stelsels gee wat dinamies inligting van verskeie bronne kan inkorporeer en outomaties redeneer.
Description
Thesis (MEng)--Stellenbosch University, 2020.
Keywords
Bayesian statistical decision theory, Machine learning, Neural networks (Computer science), Probabilistic systems, Remote-sensing images -- Classification, UCTD, Self-stabilization (Computer science)