Data fusion of radar and stereo vision for detection and tracking of moving objects
Date
2017-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Detection and tracking of moving objects (DATMO) is essential for autonomous navigation
systems operating in general environments. Dynamic objects must be identified,
localised, and their future positions predicted to assist in decision making regarding path
planning and collision avoidance. In addition to its application in autonomous navigation,
DATMO also forms the basis of various advanced driver assistance systems (ADASs) that
are aimed at making road travel more safe. The research presented in this thesis focuses
on the combined use of radar and stereo vision for DATMO. The combination of information
from multiple sensors, known as data fusion, introduces redundancy, potentially
increasing the confidence and robustness of the system as a whole.
The traditional approach to DATMO is adopted, which involves the chronological steps
of measurement extraction, data association and filtering. Measurements are extracted
from the radar and vision subsystems independently, using two-dimensional Fourier analysis
and sparse feature tracking respectively. A segmentation of moving objects is obtained
by a track-to-track fusion algorithm, on data composed of image feature track clusters and
Gaussian mixtures originating from radar-based state estimation. Segmented objects are
ultimately tracked in a novel implementation of the Gaussian inverse Wishart probability
hypothesis density (GIW-PHD) filter that makes explicit provision for extended targets,
i.e. targets that generate more than one measurements per time step.
Simulation results indicate significantly improved performance for the proposed data
fusion algorithm compared to the case when only vision data is used, due to its increased
robustness toward clutter interference. Tests on real-world data do not provide conclusive
evidence that suggests improved performance of the proposed radar-vision fusion
algorithm compared to vision-only processing. However, practical limitations meant that
truly representative datasets could not be gathered. The practical results, however, do
indicate very accurate centre point tracking using the GIW-PHD filter, which attests the
effectiveness of the Gaussian inverse Wishart model. Moreover, target extent estimates
that result from Gaussian inverse Wishart modelling proves sufficiently accurate for the
representation of object extent. GIW-PHD filtering also brings about a consistent increase
in performance compared to the raw measurements, thereby reinforcing the value
of state estimation.
AFRIKAANSE OPSOMMING: Deteksie en volging van bewegende voorwerpe is noodsaaklik vir outonome navigasie stelsels wat in algemene omgewings funksioneer. Bewegende voorwerpe moet ondermeer geïdentifiseer en gelokaliseer word. Terselfdetyd moet voorspellings gemaak word oor sulke voorwerpe se toekomstige beweging om besluitneming in verband met padbeplanning en botsingvermeiding by te staan. Benewens die toepassing met betrekking tot outonome navigasie vorm deteksie en volging van bewegende voorwerpe die basis van verskeie gevorderde bestuurdersbystand stelsels. Die navorsing wat in hierdie verslag voorgelewer word fokus op die gesamentlike gebruik van radar en stereo visie vir deteksie en volging van bewegende voorwerpe. Die kombinasie van inligting vanaf verskeie sensore, bekend as data fusie, bring oorbodige inligting teweeg, met die die potensiaal om die algehele gehalte van die stelsel te verbeter. Die tradisionele benadering tot deteksie en volging van bewegende voorwerpe word toegepas, wat die kronologiese stappe van meting ontrekking, data assosiasie en afskatting behels. Metings word onafhanklik onttrek vir beide die radar en visie substelsels, deur gebruik te maak van twee-dimensionele Fourier analise en yl kenmerk volging respektiewelik. ’n Segmentering van bewegende voorpwerpe word verkry deur middel van ’n toestandsfusie algoritme, wat toegepas word op data bestaande uit groepe beeld kenmerke en radar toestande wat volg uit afskatting. Segmenteerde voorwerpe word uiteindelik gevolg in ’n nuwe implementering van die Gaussies inverse Wishart waarskynlikheidshipotese digtheid afskatter, wat eksplisiet voorsiening maak vir uitgebreide teikens, dit is, teikens wat aanleiding gee tot meer as een meting per tydstap. Simulasie resultate dui op ’n beduidende verbetering in die prestasie van die voorgestelde data fusie algoritme in vergelyking met die geval waar slegs stereo visie inligting gebruik word, aangesien die metode beter vaar in die teenwoordigheid van steurnisbronne. Toetse op praktiese data gee nie beslissende bewyse om aan te dui dat data fusie beter vaar as die geval waar slegs stereo visie inligting gebruik word nie. Omvattende datastelle kon egter nie ingesamel word nie weens praktiese beperkings. Die praktiese resultate dui egter steeds op baie akkurate middelpunt volging, wat volg uit die toepassing van die Gaussies inverse Wishart waarskynlikheidshipotese digtheid afskatter. Verder lewer die afskatter ook grootte afskattings wat voldoende akkuraatheid bied vir die voorstel van teiken grootte. Gaussies inverse Wishart waarskynlikheidshipotese digtheid afskatting lei ook tot ’n bestendige verbetering in die stelsel uittree in vegelyking met rou metings, wat getuig tot die waarde van afskatting.
AFRIKAANSE OPSOMMING: Deteksie en volging van bewegende voorwerpe is noodsaaklik vir outonome navigasie stelsels wat in algemene omgewings funksioneer. Bewegende voorwerpe moet ondermeer geïdentifiseer en gelokaliseer word. Terselfdetyd moet voorspellings gemaak word oor sulke voorwerpe se toekomstige beweging om besluitneming in verband met padbeplanning en botsingvermeiding by te staan. Benewens die toepassing met betrekking tot outonome navigasie vorm deteksie en volging van bewegende voorwerpe die basis van verskeie gevorderde bestuurdersbystand stelsels. Die navorsing wat in hierdie verslag voorgelewer word fokus op die gesamentlike gebruik van radar en stereo visie vir deteksie en volging van bewegende voorwerpe. Die kombinasie van inligting vanaf verskeie sensore, bekend as data fusie, bring oorbodige inligting teweeg, met die die potensiaal om die algehele gehalte van die stelsel te verbeter. Die tradisionele benadering tot deteksie en volging van bewegende voorwerpe word toegepas, wat die kronologiese stappe van meting ontrekking, data assosiasie en afskatting behels. Metings word onafhanklik onttrek vir beide die radar en visie substelsels, deur gebruik te maak van twee-dimensionele Fourier analise en yl kenmerk volging respektiewelik. ’n Segmentering van bewegende voorpwerpe word verkry deur middel van ’n toestandsfusie algoritme, wat toegepas word op data bestaande uit groepe beeld kenmerke en radar toestande wat volg uit afskatting. Segmenteerde voorwerpe word uiteindelik gevolg in ’n nuwe implementering van die Gaussies inverse Wishart waarskynlikheidshipotese digtheid afskatter, wat eksplisiet voorsiening maak vir uitgebreide teikens, dit is, teikens wat aanleiding gee tot meer as een meting per tydstap. Simulasie resultate dui op ’n beduidende verbetering in die prestasie van die voorgestelde data fusie algoritme in vergelyking met die geval waar slegs stereo visie inligting gebruik word, aangesien die metode beter vaar in die teenwoordigheid van steurnisbronne. Toetse op praktiese data gee nie beslissende bewyse om aan te dui dat data fusie beter vaar as die geval waar slegs stereo visie inligting gebruik word nie. Omvattende datastelle kon egter nie ingesamel word nie weens praktiese beperkings. Die praktiese resultate dui egter steeds op baie akkurate middelpunt volging, wat volg uit die toepassing van die Gaussies inverse Wishart waarskynlikheidshipotese digtheid afskatter. Verder lewer die afskatter ook grootte afskattings wat voldoende akkuraatheid bied vir die voorstel van teiken grootte. Gaussies inverse Wishart waarskynlikheidshipotese digtheid afskatting lei ook tot ’n bestendige verbetering in die stelsel uittree in vegelyking met rou metings, wat getuig tot die waarde van afskatting.
Description
Thesis (MEng)--Stellenbosch University, 2017.
Keywords
Data Fusion; Radar and Stereo Vision; Detection and Tracking of Moving Objects, UCTD, Data fusion, Stereoscopic cameras, Radar -- Automatic detection, Tracking systems (Engineering)