A model for accurate error propagation in a convergent stereovision system.
Date
2024-02
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Stereovision is a camera-based imaging technique that facilitates the reconstruction of the 3-space coordinates and depth of a scene point using the images acquired from two cameras. Generally, stereovision finds application in autonomous vehicle navigation, mobile robots, parts inspection for quality assurance, and tracking and identification of objects. Like the output of a typical metrological system, the 3D coordinates measured with a stereovision system have associated measurement uncertainties. Such uncertainties practically emerge from the errors which are concomitant with each of the steps involved in stereo camera measurement. In this dissertation an analytic epipole-featured model is developed and proposed for structure computation and 3-space depth measurement in convergent stereo camera imaging. The proposed reconstruction model is predicated on the image sensor parameters of both cameras, left and right, together with two extrinsic parameters, namely the baseline distance and the stereo projection angle of the scene point. The intrinsic parameters are normalized with respect to the focal lengths of the cameras. The proposed model is characterized by less computational complexity and short execution time and can be employed in active vision-based metrology in which the imaging stereo cameras are rotated about their vertical axes relative to each other. The terms virtual depth and depth factor or depth coefficient are subsequently introduced and described. Both quantities together define the depth of a world point relative to the coordinate frame of the reference camera. From the developed reconstruction model, an equivalence relation between coplanar parallel and convergent stereo camera imaging systems is established. The relation states that for double-view geometry in computer vision, disparity in a row-aligned, coplanar-parallel stereo camera configuration is equivalent to the baseline-to-depth-factor ratio in a convergent stereo camera configuration. This baseline-to-depth-factor ratio in convergent stereo camera imaging is termed convergent stereo disparity and can be identified and equated with the image rectification process in a practical conventional coplanar-parallel stereo camera setup. Incorporating the epipoles in the developed reconstruction model facilitates the establishment of the stereo equivalence relation and the definition of convergent stereo disparity in stereovision. Furthermore, generalized mathematical analyses are done to model and study the variation of depth sensitivity and relative depth uncertainty with respect to convergent stereovision system parameters for 3-space points using the developed reconstruction model. It is observed that different values of left and right focal lengths are required to achieve high sensitivity coefficient, a condition that is not conformable with the conventional practice of having the same left and right focal lengths in stereo camera imaging. Regarding the variation of the stereo projection and stereo convergence angles, there are trade-offs between depth sensitivity coefficient and relative depth uncertainty. It is found that a stereo convergence angle of 90° yields the best relative depth uncertainty value at which the focal length-normalized epipole-to-principal point distances on both image planes are reciprocals. The analytic derivations and graphical characteristics of the depth sensitivity coefficient would give a stereovision system designer some information regarding the margin by which the estimated depth of a scene point changes for a drift in the value of any stereo camera parameter, and also some idea in respect of the potential trade-offs involved in the choice of certain parameters. The performance of the developed reconstruction model is studied, and its accuracy tested by comparing the 3-space coordinates it predicts to those obtained by Gold Standard triangulation algorithm and to the ground truth results. In terms of execution speed the proposed reconstruction model exhibited a computation time of 0.6 ms compared to 6.2 ms and 9.9 ms recorded for the Direct Linear Transformation (DLT) and Gold Standard triangulation algorithms respectively. The measurement errors determined by theoretical methods based on the law of error propagation incorporating the analytic reconstruction model (with and without full input covariance matrices) are compared with those obtained by the experimental approach. Strong correlations are found to exist between the two sets of values obtained, indicating the validity of the error model. The study of measurement error using the reconstruction model shows that accounting for the covariances of all the stereo camera parameters in vision-based metrology predicts smaller errors compared to when the covariances of the parameters are ignored. It is also found that it makes no significant difference if full or diagonal input covariance matrices are used in the theoretical computation of error compared to the experimental approach to determining the error. The error model derived in this work and predicated on the developed epipole-dependent reconstruction model would be useful in the design of high-precision stereovision systems.
AFRIKAANSE OPSOMMING: Stereovisie is ʼn kamera-beeldingstegniek wat die herkonstruksie van 3D ruimte koördinate en diepte van ʼn beeldpunt moontlik maak deur gebruik te maak van beelde verkry van twee kameras. Stereovisie word algemeen toegepas in outonome voertuignavigasie, mobiele robotte, onderdeel inspeksies vir kwaliteitsbeheer, en volging en identifisering van voorwerpe. Soos die uitset van ʼn tipiese metrologiestelsel, het die 3D koördinate gemeet met ʼn stereovisie stelsel ook gepaardgaande metingsonsekerhede. Hierdie onsekerhede ontstaan prakties uit die foute geassosieer met elke stap in stereovisie metings. In hierdie proefskrif word ʼn analitiese epipool-gebaseerde model ontwikkel en voorgestel vir 3D ruimte berekeninge en diepte meting in konvergente stereokamera beelding. Die voorgestelde herkonstruksie model is gebaseer op die beeldsensorparameters van beide kameras, links en regs, asook twee intrinsieke parameters: die sogenaamde basislynafstand en die stereoprojeksiehoek van die beeldpunt. Die intrinsieke parameters word genormaliseer met betrekking tot die fokuslengte van elke kamera. Die voorgestelde model word gekenmerk deur minder berekeningskompleksiteit en korter berekeningstyd en kan in aktiewe visie-metrologie, waar die stereokameras met betrekking tot hul vertikale asse relatief tot mekaar gedraai word, gebruik word. Die terme virtuele-diepte en dieptefaktor, of dieptekoëffisiënt, word bekendgestel en beskryf. Beide hoeveelhede definieer saam die diepte van ʼn wêreldpunt relatief tot die koördinaatstelsel van die verwysingskamera. Met behulp van die ontwikkelde herkonstruksiemodel word ʼn ekwivalensieverhouding tussen saamvlakkig-parallel en konvergente stereovisiestelsels ontwikkel. Die verhouding stel dat vir dubbelaansig meetkunde in rekenaarvisie, beeldongelykheid in 'n ry-belynde, saamvlakkigparallelle stereokonfigurasie gelykstaande is aan die basislyn-tot-dieptekoëffisiëntverhouding in 'n konvergente stereokonfigurasie. Hierdie basislyn-totdiepte-koëffisiëntverhouding in konvergente stereokamerabeelding word die konvergente stereo-ongelykheid genoem en kan gelykgestel word aan die beeldregstellingsproses in 'n praktiese konvensionele saamvlakkig-parallelle stereokamera-opstelling. Die inkorporering van die epipole in die ontwikkelde rekonstruksiemodel vergemaklik die vestiging van die stereoekwivalensieverhouding en die definisie van konvergente stereo-ongelykheid. Verder, met behulp van die ontwikkelde model word veralgemeende wiskundige analises gedoen om die verandering in diepte sensitiwiteit en relatiewe diepteonsekerheid te modelleer en bestudeer met betrekking tot die konvergente stereovisie stelselparameters vir 3D ruimte punte. Daar is waargeneem dat verskillende waardes van die linker en regter fokuslengte nodig is om ʼn hoë sensitiwiteit koëffisiënt te kry. Hierdie waarneming is teenstrydig met die konvensionele praktyk om identiese fokuslengtes in beide kameras te gebruik Die diepte sensitiwiteitskoëffisiënt en relatiewe diepte-onsekerheid moet teen mekaar afgespeel word om geskikte stereoprojeksie- en stereokonvergensiehoeke te vind. Daar is gevind dat ʼn stereokonvergensiehoek van 90 die beste relatiewe diepte-onsekerheid tot gevolg het en dat die fokuslengte-genormaliseerde epipool-tot-middelpunt afstande op beide beeldvlakke resiproke is. Die analitiese afleidings en grafiese voorstellings van die dieptesensitiwiteitskoëffisiënt sal ʼn stereovisie stelselontwerper help om te bepaal met hoeveel die verwagte diepte van ʼn beeldpunt verander vir ʼn gegewe dryf van die waarde van enige van die stereovisie parameters, en sal ook ʼn idee gee oor die ideale keuse van sekere parameters. Die werkverrigting van die ontwikkelde model is bestudeer, en die akkuraatheid is vergelyk deur 3D ruimtepunte bepaal met die voorgestelde model, te vergelyk met die Goudstandaard driehoeksmetingalgoritme en verwysingsresultate. Die berekeningspoed van die voorgestelde model is in die orde van 0.6 ms teenoor 6.2 ms en 9.9 ms respektiewelik vir die Direkte Lineêretransform (DLT) en die Goudstandaard algoritmes. Die metingsfoute bepaal met die teoretiese metodes gebaseer op die wet van foutvoortplanting en die voorgestelde model (met en sonder die volledige kovariansiematriks) word vergelyk met eksperimentele resultate. ʼn Sterk korrelasie is gevind tussen die twee stelle data, wat die geldigheid van die foutmodel bevestig. Die metingsfoute word met die model ondersoek en toon dat die gebruik van die volledige kovariansiematriks kleiner foute voorspel teenoor wanneer die kovariansie elemente in die matriks weggelaat word. Daar is ook gevind dat daar nie ʼn beduidende verskil in die berekende foute is, met of sonder, die kovariansie elemente in die kovariansiematriks wanneer dit met die eksperimentele foute vergelyk word nie. Die afgeleide foutmodel, gebaseer op die ontwikkelde epipoolafhanklike herkonstruksiemodel, sal nuttig wees in die ontwerp van hoë-akkuraatheid stereovisiestelsels.
AFRIKAANSE OPSOMMING: Stereovisie is ʼn kamera-beeldingstegniek wat die herkonstruksie van 3D ruimte koördinate en diepte van ʼn beeldpunt moontlik maak deur gebruik te maak van beelde verkry van twee kameras. Stereovisie word algemeen toegepas in outonome voertuignavigasie, mobiele robotte, onderdeel inspeksies vir kwaliteitsbeheer, en volging en identifisering van voorwerpe. Soos die uitset van ʼn tipiese metrologiestelsel, het die 3D koördinate gemeet met ʼn stereovisie stelsel ook gepaardgaande metingsonsekerhede. Hierdie onsekerhede ontstaan prakties uit die foute geassosieer met elke stap in stereovisie metings. In hierdie proefskrif word ʼn analitiese epipool-gebaseerde model ontwikkel en voorgestel vir 3D ruimte berekeninge en diepte meting in konvergente stereokamera beelding. Die voorgestelde herkonstruksie model is gebaseer op die beeldsensorparameters van beide kameras, links en regs, asook twee intrinsieke parameters: die sogenaamde basislynafstand en die stereoprojeksiehoek van die beeldpunt. Die intrinsieke parameters word genormaliseer met betrekking tot die fokuslengte van elke kamera. Die voorgestelde model word gekenmerk deur minder berekeningskompleksiteit en korter berekeningstyd en kan in aktiewe visie-metrologie, waar die stereokameras met betrekking tot hul vertikale asse relatief tot mekaar gedraai word, gebruik word. Die terme virtuele-diepte en dieptefaktor, of dieptekoëffisiënt, word bekendgestel en beskryf. Beide hoeveelhede definieer saam die diepte van ʼn wêreldpunt relatief tot die koördinaatstelsel van die verwysingskamera. Met behulp van die ontwikkelde herkonstruksiemodel word ʼn ekwivalensieverhouding tussen saamvlakkig-parallel en konvergente stereovisiestelsels ontwikkel. Die verhouding stel dat vir dubbelaansig meetkunde in rekenaarvisie, beeldongelykheid in 'n ry-belynde, saamvlakkigparallelle stereokonfigurasie gelykstaande is aan die basislyn-tot-dieptekoëffisiëntverhouding in 'n konvergente stereokonfigurasie. Hierdie basislyn-totdiepte-koëffisiëntverhouding in konvergente stereokamerabeelding word die konvergente stereo-ongelykheid genoem en kan gelykgestel word aan die beeldregstellingsproses in 'n praktiese konvensionele saamvlakkig-parallelle stereokamera-opstelling. Die inkorporering van die epipole in die ontwikkelde rekonstruksiemodel vergemaklik die vestiging van die stereoekwivalensieverhouding en die definisie van konvergente stereo-ongelykheid. Verder, met behulp van die ontwikkelde model word veralgemeende wiskundige analises gedoen om die verandering in diepte sensitiwiteit en relatiewe diepteonsekerheid te modelleer en bestudeer met betrekking tot die konvergente stereovisie stelselparameters vir 3D ruimte punte. Daar is waargeneem dat verskillende waardes van die linker en regter fokuslengte nodig is om ʼn hoë sensitiwiteit koëffisiënt te kry. Hierdie waarneming is teenstrydig met die konvensionele praktyk om identiese fokuslengtes in beide kameras te gebruik Die diepte sensitiwiteitskoëffisiënt en relatiewe diepte-onsekerheid moet teen mekaar afgespeel word om geskikte stereoprojeksie- en stereokonvergensiehoeke te vind. Daar is gevind dat ʼn stereokonvergensiehoek van 90 die beste relatiewe diepte-onsekerheid tot gevolg het en dat die fokuslengte-genormaliseerde epipool-tot-middelpunt afstande op beide beeldvlakke resiproke is. Die analitiese afleidings en grafiese voorstellings van die dieptesensitiwiteitskoëffisiënt sal ʼn stereovisie stelselontwerper help om te bepaal met hoeveel die verwagte diepte van ʼn beeldpunt verander vir ʼn gegewe dryf van die waarde van enige van die stereovisie parameters, en sal ook ʼn idee gee oor die ideale keuse van sekere parameters. Die werkverrigting van die ontwikkelde model is bestudeer, en die akkuraatheid is vergelyk deur 3D ruimtepunte bepaal met die voorgestelde model, te vergelyk met die Goudstandaard driehoeksmetingalgoritme en verwysingsresultate. Die berekeningspoed van die voorgestelde model is in die orde van 0.6 ms teenoor 6.2 ms en 9.9 ms respektiewelik vir die Direkte Lineêretransform (DLT) en die Goudstandaard algoritmes. Die metingsfoute bepaal met die teoretiese metodes gebaseer op die wet van foutvoortplanting en die voorgestelde model (met en sonder die volledige kovariansiematriks) word vergelyk met eksperimentele resultate. ʼn Sterk korrelasie is gevind tussen die twee stelle data, wat die geldigheid van die foutmodel bevestig. Die metingsfoute word met die model ondersoek en toon dat die gebruik van die volledige kovariansiematriks kleiner foute voorspel teenoor wanneer die kovariansie elemente in die matriks weggelaat word. Daar is ook gevind dat daar nie ʼn beduidende verskil in die berekende foute is, met of sonder, die kovariansie elemente in die kovariansiematriks wanneer dit met die eksperimentele foute vergelyk word nie. Die afgeleide foutmodel, gebaseer op die ontwikkelde epipoolafhanklike herkonstruksiemodel, sal nuttig wees in die ontwerp van hoë-akkuraatheid stereovisiestelsels.
Description
Thesis (PhD)--Stellenbosch University, 2024.