Degenerate Gaussian factors for probabilistic inference
Date
2021-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Gaussian random variables and distributions are widely used for inference across many ap-
plications, where correlations within probabilistic models can be used to calculate accurate
posterior distributions over unobserved variables. In the case of perfect correlation, however,
the covariance matrix of a Gaussian distribution is only positive semi -definite and therefore
singular. This effectively means that linear dependencies exist among the random variables
and can either be a direct artefact of the constructed model or the result of machine precision
limitations during ill-conditioned numerical calculations. Consequently, traditional Gaussian
parametrisations and calculations involving the inverse of the covariance matrix cannot be
used in these degenerate settings.
In this dissertation, we propose a parametrised factor that enables accurate and automatic
inference on Gaussian networks in such degenerate settings at little additional computational
cost. In contrast, a common practical solution is to employ ridge regularisation, which trades
accuracy for numerical stability through approximations. Other, more principled solutions
in turn do not provide all the capabilities of non-degenerate parametrisations. Our factor
representation is effectively a generalisation of traditional Gaussian parametrisations where
the positive-definite constraint (of the covariance matrix) has been relaxed. This is achieved
by representing any possible degeneracies using Dirac delta functions.
To extend the capabilities of Gaussian factors to degenerate settings, we derive various
statistical operations and results (such as marginalisation, multiplication and affine transfor-
mations of random variables) using our parametrised factors. The computational complexity
of these operations is shown to be at most O(n3). In addition, we present means for accom-
modating both linear and nonlinear models as well as for performing Bayesian model compar-
ison. Finally, we apply our methodology to a representative example involving recursive state
estimation of cooperative mobile robots. This illustrates the advantages of computing with
explicit degenerate Gaussian factors when degeneracies arise inconsistently and unpredictably.
Experimental results also reveal that using our factor definition leads to shorter computation
times while requiring fewer parameters when compared to existing approaches.
AFRIKAANSE OPSOMMING: Gaussiese toevalsveranderlikes en verspreidings word algemeen gebruik vir inferensie in verskeie toepassings, waar korrelasies in waarskynlikheidsmodelle gebruik kan word om akkurate pos- terieuse verspreidings oor onwaargenome veranderlikes te bereken. In die geval van per- fekte korrelasie is die kovariansie matriks van ’n Gaussiese verspreiding egter slegs positief semi -definiet en dus singulier. Dit beteken effektief dat lineˆere afhanklikhede tussen die toe- valsveranderlikes bestaan en kan ́of ’n direkte gevolg van die opgestelde model wees ́of die resultaat van masjien-presisie beperkings tydens swak-gekondisioneerde numeriese bewerk- ings. Gevolglik kan tradisionele Gaussiese parametriserings en bewerkings wat die inverse van die kovariansie matriks bevat nie gebruik word in hierdie ontaarde kontekste nie. In hierdie proefskrif stel ons ’n geparametriseerde faktor voor wat akkurate en outomatiese inferensie op Gaussiese netwerke in sulke ontaarde kontekste bewerkstellig teen min addisionele berekeningskoste. Daarinteen is ’n algemene praktiese oplossing om rif-regularisering te ge- bruik, wat akkuraatheid ruil vir numeriese stabiliteit deur middel van benaderings. Ander, meer beginselvaste oplossings verskaf weer nie al die vermo ̈ens van nie-ontaarde parametri- serings nie. Ons faktor voorstelling is effektief ’n veralgemening van tradisionele Gaussiese parametriserings waar die positief-definiete beperking (van die kovariansie matriks) verslap word. Dit word reggekry deur Dirac delta funksies te gebruik om enige moontlike ontaardhede voor te stel. Om die vermo ̈ens van Gaussiese faktore na ontaarde kontekste toe uit te brei lei ons verskeie statistiese operasies en resultate (soos marginalisering, vermenigvuldiging en lineˆere transformasies van toevalsveranderlikes) af deur gebruik te maak van ons geparametriseerde faktore. Daar word gewys dat die berekeningskompleksiteit van hierdie operasies O(n3) is op die meeste. Verder stel ons maniere voor om beide lineˆere en nie-lineˆere modelle te akkom- modeer sowel as om Bayesiese model vergelyking te doen. Laastens pas ons ons metodologie toe op ’n verteenwoordigende voorbeeld wat rekursiewe toestandsafskatting van samewerk- ende mobiele robotte behels. Dit illustreer die voordele daarvan om met eksplisiete ontaarde Gaussiese faktore te bereken wanneer ontaardhede onkonsekwent en onvoorspelbaar opduik. Eksperimentele resultate wys ook dat die gebruik van ons faktor definisie na korter bereken- ingstye lei en minder parameters vereis in vergelyking met bestaande benaderings.
AFRIKAANSE OPSOMMING: Gaussiese toevalsveranderlikes en verspreidings word algemeen gebruik vir inferensie in verskeie toepassings, waar korrelasies in waarskynlikheidsmodelle gebruik kan word om akkurate pos- terieuse verspreidings oor onwaargenome veranderlikes te bereken. In die geval van per- fekte korrelasie is die kovariansie matriks van ’n Gaussiese verspreiding egter slegs positief semi -definiet en dus singulier. Dit beteken effektief dat lineˆere afhanklikhede tussen die toe- valsveranderlikes bestaan en kan ́of ’n direkte gevolg van die opgestelde model wees ́of die resultaat van masjien-presisie beperkings tydens swak-gekondisioneerde numeriese bewerk- ings. Gevolglik kan tradisionele Gaussiese parametriserings en bewerkings wat die inverse van die kovariansie matriks bevat nie gebruik word in hierdie ontaarde kontekste nie. In hierdie proefskrif stel ons ’n geparametriseerde faktor voor wat akkurate en outomatiese inferensie op Gaussiese netwerke in sulke ontaarde kontekste bewerkstellig teen min addisionele berekeningskoste. Daarinteen is ’n algemene praktiese oplossing om rif-regularisering te ge- bruik, wat akkuraatheid ruil vir numeriese stabiliteit deur middel van benaderings. Ander, meer beginselvaste oplossings verskaf weer nie al die vermo ̈ens van nie-ontaarde parametri- serings nie. Ons faktor voorstelling is effektief ’n veralgemening van tradisionele Gaussiese parametriserings waar die positief-definiete beperking (van die kovariansie matriks) verslap word. Dit word reggekry deur Dirac delta funksies te gebruik om enige moontlike ontaardhede voor te stel. Om die vermo ̈ens van Gaussiese faktore na ontaarde kontekste toe uit te brei lei ons verskeie statistiese operasies en resultate (soos marginalisering, vermenigvuldiging en lineˆere transformasies van toevalsveranderlikes) af deur gebruik te maak van ons geparametriseerde faktore. Daar word gewys dat die berekeningskompleksiteit van hierdie operasies O(n3) is op die meeste. Verder stel ons maniere voor om beide lineˆere en nie-lineˆere modelle te akkom- modeer sowel as om Bayesiese model vergelyking te doen. Laastens pas ons ons metodologie toe op ’n verteenwoordigende voorbeeld wat rekursiewe toestandsafskatting van samewerk- ende mobiele robotte behels. Dit illustreer die voordele daarvan om met eksplisiete ontaarde Gaussiese faktore te bereken wanneer ontaardhede onkonsekwent en onvoorspelbaar opduik. Eksperimentele resultate wys ook dat die gebruik van ons faktor definisie na korter bereken- ingstye lei en minder parameters vereis in vergelyking met bestaande benaderings.
Description
Thesis (PhD)--Stellenbosch University, 2021.
Keywords
UCTD, Gaussian distribution, Probabilistic inference, Degenerate differential equations