Probabilistic Outlier Removal for Stereo Visual Odometry
Date
2017-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The field of autonomous navigation is currently receiving significant attention from researchers in both
academia and industry. With an end goal of fully autonomous vehicle systems, an increased effort is
being made to develop systems that are more efficient, reliable and safe than human-controlled vehicles.
Furthermore, the low cost and compact nature of cameras have led to an increased interest in vision-based
navigation techniques. Despite their popularity, measurements obtained from cameras are often noisy and
contaminated with outliers. A critical requirement for consistent and reliable autonomous navigation is
the ability to identify and remove these outliers when measurements are highly uncertain. The focus of
the research presented in this thesis is therefore on effective and efficient outlier removal.
Many existing outlier removal methods are limited in their ability to handle datasets that are
contaminated by a significant number of outliers in real-time. Furthermore, many of the current techniques
perform inconsistently in the presence of high measurement noise. This thesis proposes methods for
probabilistic outlier removal in a robust, real-time visual odometry framework. No assumptions are made
about the vehicle motion or the environment, thereby keeping the research in a general form and allowing
it to be applied to a wide variety of applications.
The first part of this thesis details the modelling of sensor measurements obtained from a camera
pair. The mapping process from 3D space to image space is described mathematically and the concept of
triangulating matched image features is presented. Stereo measurements are modelled as random variables
that are assumed to be normally distributed in image coordinates. Two techniques used for uncertainty
propagation, linearisation and the unscented transform, are investigated. The results of experiments,
performed on synthetic datasets, are presented and show that the unscented transform outperforms
linearisation when used to approximate the distributions of reconstructed, 3D features.
The second part of this thesis presents the development of a novel outlier removal technique, which
is reliable and efficient. Instead of performing outlier removal with the standard hypothesise-and-verify
approach of RANSAC, a novel mechanism is developed that uses a probabilistic measure of shape similarity
to identify sets of points containing outliers. The measure of shape similarity is based on inherent spatial
constraints, and is combined with an adaptive sampling approach to determine the probability of individual
points being outliers. This novel approach is compared against a state-of-the-art RANSAC technique,
where experiments indicate that the proposed method is more efficient and leads to more consistent
motion estimation results. The novel outlier removal approach is also incorporated into a robust visual
odometry pipeline that is tested on both synthetic and practical datasets. The results obtained from
visual odometry experiments indicate that the proposed method is significantly faster than RANSAC,
making it viable for real-time applications, and reliable for outlier removal even when measurements are
highly uncertain.
AFRIKAANSE OPSOMMING: Die area van outonome navigasie kry tans vele aandag van navorsers in akademie en in die bedryf. Met ’n einddoel van volledige outonome navigasie voertuigstelsels, word ’n verhoogde poging gemaak om stelsels te ontwerp wat meer effektief, betroubaar en veiliger is as menslik beheerde voertuie. Verder, die lae prys en kompakte struktuur van kameras het gelei tot ’n verhoogde belangstelling in visie gebaseerde navigasie tegnieke. Ten spyte van hierdie gewildheid, is kamera metings gewoonlik ruiserig en besoedel met uitskieters. ’n Kritiese vereiste vir konsekwente en betroubare outonome navigasie is die vermoë om uitskieters te kan identifiseer en verwyder as die metings hoogs onseker is. Die fokus van die navorsing wat in hierdie tesis aangebied sal word is dus op effektiewe en doeltreffende uitskieterverwydering. Talle bestaande uitskieterverwydermetodes is beperk in hulle vermoë om datastelle besoedel met vele uitskieters intyds te kan hanteer. Verder, talle van die huidige tegnieke tree inkonsekwent in die teenwoordigheid van hoë ruis op. Hierdie tesis stel metodes voor vir waarskynliksheid-verwydering van uitskieters in ’n kragtige, intydse, visuele verplasingsmeter raamwerk. Geen aannames word gemaak oor die voertuig se beweging of die omgewing nie. Die navorsing word dus algemeen gehou en laat toe om toegepas te word op verskillende toepassings. Die eerste gedeelte van hierdie tesis verduidelik die modellering van sensor metings geneem van ’n kamera paar. Die karteringsproses van 3D ruimte na beeld ruimte word wiskundig verduidelik en die konsep van triangulasie van ooreenstemmende beeldkenmerke word aangebied. Stereometings word gebruik as toevalsveranderlikes wat aanvaar word as normaal versprei in die beeld koördinate. Twee tegnieke wat gebruik word vir onsekerheid vooruitskatting, ’n lineariseringsmetode en die sigmapunt-transformasie, word ondersoek. Die resultate van eksperimente wat uitgevoer is op sintetiese datastelle word aangebied, en dit wys dat die sigmapunt-transformasie beter funksioneer as die lineariseringsmetode wanneer dit gebruik word om die verspreiding van gerekonstrueerde, 3D kenmerke te benader. Die tweede gedeelte van hierdie tesis bied die ontwikkeling van ’n nuwe uitskieterverwyderingsmetode, wat betroubaar en doeltreffend is aan. In plaas van uitskieters te verwyder met RANSAC se standaard tegniek van hipotetiseer-en-verifieer, word ’n nuwe meganisme ontwikkel wat vorm ooreenkoms meet om stelle punte wat uitskieters bevat te identifiseer. Die meting van vorm ooreenkoms is gebaseer op ingebore ruimtelike beperkings en word gekombineer met aanpasbare monstering om die waarskynlikheid van sekere punte om uitskieters te wees te bepaal. Hierdie nuwe benadering word vergelyk teen RANSAC waar eksperimente wys dat die voorgestelde metode meer doeltreffend is en lei tot meer konsekwente resultate. Die nuwe uitskieterverwyderingsmetode is ook opgeneem in ’n kragtige visuele verplasingsmeter wat getoets is met beide sintetiese en praktiese datastelle. Die resultate wat behaal is van die visuele verplasingsmeter eksperimente dui aan dat die voorgestelde metode aansienlik vinniger is as RANSAC, wat dit haalbaar maak vir intydse toepassings, en betroubaar is vir uitskieterverywydering al is die metings hoogs onseker.
AFRIKAANSE OPSOMMING: Die area van outonome navigasie kry tans vele aandag van navorsers in akademie en in die bedryf. Met ’n einddoel van volledige outonome navigasie voertuigstelsels, word ’n verhoogde poging gemaak om stelsels te ontwerp wat meer effektief, betroubaar en veiliger is as menslik beheerde voertuie. Verder, die lae prys en kompakte struktuur van kameras het gelei tot ’n verhoogde belangstelling in visie gebaseerde navigasie tegnieke. Ten spyte van hierdie gewildheid, is kamera metings gewoonlik ruiserig en besoedel met uitskieters. ’n Kritiese vereiste vir konsekwente en betroubare outonome navigasie is die vermoë om uitskieters te kan identifiseer en verwyder as die metings hoogs onseker is. Die fokus van die navorsing wat in hierdie tesis aangebied sal word is dus op effektiewe en doeltreffende uitskieterverwydering. Talle bestaande uitskieterverwydermetodes is beperk in hulle vermoë om datastelle besoedel met vele uitskieters intyds te kan hanteer. Verder, talle van die huidige tegnieke tree inkonsekwent in die teenwoordigheid van hoë ruis op. Hierdie tesis stel metodes voor vir waarskynliksheid-verwydering van uitskieters in ’n kragtige, intydse, visuele verplasingsmeter raamwerk. Geen aannames word gemaak oor die voertuig se beweging of die omgewing nie. Die navorsing word dus algemeen gehou en laat toe om toegepas te word op verskillende toepassings. Die eerste gedeelte van hierdie tesis verduidelik die modellering van sensor metings geneem van ’n kamera paar. Die karteringsproses van 3D ruimte na beeld ruimte word wiskundig verduidelik en die konsep van triangulasie van ooreenstemmende beeldkenmerke word aangebied. Stereometings word gebruik as toevalsveranderlikes wat aanvaar word as normaal versprei in die beeld koördinate. Twee tegnieke wat gebruik word vir onsekerheid vooruitskatting, ’n lineariseringsmetode en die sigmapunt-transformasie, word ondersoek. Die resultate van eksperimente wat uitgevoer is op sintetiese datastelle word aangebied, en dit wys dat die sigmapunt-transformasie beter funksioneer as die lineariseringsmetode wanneer dit gebruik word om die verspreiding van gerekonstrueerde, 3D kenmerke te benader. Die tweede gedeelte van hierdie tesis bied die ontwikkeling van ’n nuwe uitskieterverwyderingsmetode, wat betroubaar en doeltreffend is aan. In plaas van uitskieters te verwyder met RANSAC se standaard tegniek van hipotetiseer-en-verifieer, word ’n nuwe meganisme ontwikkel wat vorm ooreenkoms meet om stelle punte wat uitskieters bevat te identifiseer. Die meting van vorm ooreenkoms is gebaseer op ingebore ruimtelike beperkings en word gekombineer met aanpasbare monstering om die waarskynlikheid van sekere punte om uitskieters te wees te bepaal. Hierdie nuwe benadering word vergelyk teen RANSAC waar eksperimente wys dat die voorgestelde metode meer doeltreffend is en lei tot meer konsekwente resultate. Die nuwe uitskieterverwyderingsmetode is ook opgeneem in ’n kragtige visuele verplasingsmeter wat getoets is met beide sintetiese en praktiese datastelle. Die resultate wat behaal is van die visuele verplasingsmeter eksperimente dui aan dat die voorgestelde metode aansienlik vinniger is as RANSAC, wat dit haalbaar maak vir intydse toepassings, en betroubaar is vir uitskieterverywydering al is die metings hoogs onseker.
Description
Thesis (MEng)--Stellenbosch University, 2017.
Keywords
UCTD, Autonomous vehicles systems, Stereoscopic cameras, Outliers (Statistics)