A probabilistic graphical model approach to solving the structure and motion problem
Date
2016-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Probabilistic graphical models show great promise in resolving uncertainty within large systems by using probability theory. However, the focus is usually on problems with a discrete representation, or problems with linear dependencies. The focus of this study is on graphical models as a means to solve a nonlinear system, specifically the structure and motion problem. For a given system, our
proposed solution makes use of multivariate Gaussians to model parameters as random variables, and sigma point linearisation to capture all interrelationships as covariances. This technique does not need in-depth knowledge about given nonlinearities (such as Jacobian matrices) and can therefore be used as part of a general solution. The aim of structure and motion is to generate a 3D reconstruction of a scene and camera poses, using 2D images as input. We discuss the typical feature based structure and motion pipeline along with the underlying multiview geometry, and use this theory to find relationships between variables. We test our approach by building a probabilistic graphical model for the structure and motion problem and evaluating it on different types of synthetic datasets. Furthermore, we test our approach on two real-world datasets. From this study we conclude that, for structure and motion, there is clear promise in the performance of our system, especially on small datasets. The
required runtime quickly increases, and the accuracy of results decreases, as the number of feature points and camera poses increase or the noise in the inputs increase. However, we believe that further developments can improve the system to the point where it can be used as a practical and robust solution for a wide range of real-world image sets. We further conclude that this method can be a great aid in solving similar types of nonlinear problems where uncertainty needs to be dealt with, especially those without well-known solutions.
AFRIKAANSE OPSOMMING: In waarskynlikheidsleer slaag grafiese modelle daarin om onsekerheid in groot stelsels op te los. Die fokus is egter gewoonlik op stelsels met ’n diskrete voorstelling, of met lineêre afhanklikhede. In hierdie studie fokus ons op grafiese modelle as ‘n oplossing vir ’n nie-lineêre probleem, die struktuur-en-bewegingsbepalingprobleem. Ons voorgestelde oplossing maak gebruik van Gaussiese meerveranderlikes om ’n gegewe probleem se parameters in stogastiese veranderlikes te parameteriseer en sigmapuntlinearisering om al die interafhanklikhede as kovariansies voor te stel. Hierdie tegniek benodig geen in-diepte kennis oor die gegewe nie-lineariteite nie (soos bv. die Jacobiaanmatriks), en kan dus gebruik word as deel van ’n algemene oplossing. Die doel van struktuur-en-bewegingsbepaling is om ’n 3D-struktuur en kameraposisies te bepaal, met 2D-beelde as intree. Ons bespreek die tipiese pyplyn vir beeldkenmerkgebaseerde struktuur-en-bewegingsbepaling en die onderliggende multivisiemeetkunde wat daarmee gepaard gaan, en gebruik hierdie teorie om die verhoudings tussen veranderlikes voor te stel. Ons toets ons benadering deur ’n grafiese model van struktuur-en-bewegingsbepaling op te stel en die resultate te evalueer met betrekking tot verskillende tipes sintetiese datastelle. Ons toets ook ons benadering op twee werklike datastelle. Hierdie studie lei ons tot die gevolgtrekking dat ons sisteem belowende resultate wys vir struktuur-en-beweginsbepaling. Die uitvoertyd neem vinnig toe, en die akkuraatheid van resultate neem vinnig af, soos die aantal beeldkenmerke en kameraposisies toeneem of soos die ruis in die intree toeneem. Ons is egter oortuig dat verdere ontwikkelinge hierdie stelsel kan verbeter tot so mate dat dit as ’n praktiese en betroubare oplossing vir ’n wye verskeidenheid van werklike datastelle kan dien. ’n Verdere gevolgtrekking is dat hierdie metode groot hulp kan bied aan soortgelyke nie-lineêre probleme, veral dié sonder ’n maklike oplossing.
AFRIKAANSE OPSOMMING: In waarskynlikheidsleer slaag grafiese modelle daarin om onsekerheid in groot stelsels op te los. Die fokus is egter gewoonlik op stelsels met ’n diskrete voorstelling, of met lineêre afhanklikhede. In hierdie studie fokus ons op grafiese modelle as ‘n oplossing vir ’n nie-lineêre probleem, die struktuur-en-bewegingsbepalingprobleem. Ons voorgestelde oplossing maak gebruik van Gaussiese meerveranderlikes om ’n gegewe probleem se parameters in stogastiese veranderlikes te parameteriseer en sigmapuntlinearisering om al die interafhanklikhede as kovariansies voor te stel. Hierdie tegniek benodig geen in-diepte kennis oor die gegewe nie-lineariteite nie (soos bv. die Jacobiaanmatriks), en kan dus gebruik word as deel van ’n algemene oplossing. Die doel van struktuur-en-bewegingsbepaling is om ’n 3D-struktuur en kameraposisies te bepaal, met 2D-beelde as intree. Ons bespreek die tipiese pyplyn vir beeldkenmerkgebaseerde struktuur-en-bewegingsbepaling en die onderliggende multivisiemeetkunde wat daarmee gepaard gaan, en gebruik hierdie teorie om die verhoudings tussen veranderlikes voor te stel. Ons toets ons benadering deur ’n grafiese model van struktuur-en-bewegingsbepaling op te stel en die resultate te evalueer met betrekking tot verskillende tipes sintetiese datastelle. Ons toets ook ons benadering op twee werklike datastelle. Hierdie studie lei ons tot die gevolgtrekking dat ons sisteem belowende resultate wys vir struktuur-en-beweginsbepaling. Die uitvoertyd neem vinnig toe, en die akkuraatheid van resultate neem vinnig af, soos die aantal beeldkenmerke en kameraposisies toeneem of soos die ruis in die intree toeneem. Ons is egter oortuig dat verdere ontwikkelinge hierdie stelsel kan verbeter tot so mate dat dit as ’n praktiese en betroubare oplossing vir ’n wye verskeidenheid van werklike datastelle kan dien. ’n Verdere gevolgtrekking is dat hierdie metode groot hulp kan bied aan soortgelyke nie-lineêre probleme, veral dié sonder ’n maklike oplossing.
Description
Thesis (MA)--Stellenbosch University, 2016
Keywords
Computer vision -- 2D images, Probabilistic graphical model (PGM), Nonlinear systems, Computer vision -- 3D reconstruction, Computer vision -- Structure and motion, UCTD, Graphic models -- Mathematics