Development of a stereo vision mixed reality framework
Date
2012-03
Authors
Le Roux, Christiaan Johannes Hendrik
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Augmented reality is a fairly young research field, still in an infancy stage
at Stellenbosch University. Since this is one of the first augmented reality
projects, one goal is to present a theoretical study of augmented reality. This
study is given in the literature study, along with a review of the available
development solutions.
While there are various tools available with which one can create markerbased
augmented reality applications, these tools are not meant for testing new
techniques and algorithms in an augmented or mixed reality. The remaining
goals of this project is to create a platform for the rapid design of augmented
reality applications, and to expand the capabilities of this platform beyond
marker-based augmented reality.
In this project we present the design and implementation of a pragmatic
mixed-reality framework capable of a wider variety of applications. A design
is shown where marker tracking can be used alongside other computer vision
techniques to design new applications. The framework utilises stereo cameras
to find the position of real world objects, and a 3D display to make the mixed
reality environment as immersive as possible.
Proof of concept test applications built with the framework are presented.
Colour based techniques are used to find a user’s hand and create a virtual
representation of it. This allows the user to interact with a virtual object in
an augmented reality scene by ‘touching’ it with her hand.
AFRIKAANSE OPSOMMING: Toegevoegde realiteit is ’n jong navorsingsveld by Universiteit Stellenbosch. Aangesien hierdie een van die eerste projekte is wat fokus op toegevoegde realiteit, is ’n teoretiese studie van toegevoegde realiteit as ’n doel gestel. Dit word verskaf in die literatuurstudie, tesame met ’n oorsig oor bestaande oplossings vir die ontwikkeling van toegevoegde realiteit sagteware. Bestaande oplossings is gefokus op die ontwikkeling van merker-gebaseerde toegevoegde realiteit, maar los min ruimte vir die toets van nuwe tegnieke toepasbaar op die veld. Dit lei tot die oorblywende doelwitte van die projek: om ’n platform te ontwerp vir die ontwikkeling van merker-gebaseerde toegevoegde realiteit programme, asook om die platform uit te brei. Ons lewer ’n pragmatiese ontwikkelingsraamwerk wat dit moontlik maak om ’n verskeidenheid nuwe toegevoegde realiteit programme te ontwikkel. Die raamwerk is ontwerp sodat die ontwikkelaar merkers saam met ander rekenaarvisie tegnieke kan gebruik om sagteware te skep. Stereo kameras word gebruik om die posisie van werklike voorwerpe te vind. Die raamwerk maak ook gebruik van ’n 3D skerm om virtuele objekte te vertoon. Toetsprogramme gebou as ’n bewys van die konsep, word vertoon en bespreek. ’n Kleur-gebaseerde tegniek word gebruik om ’n gebruiker se hand te vind, en ’n virtuele voorstelling van die hand word geskep. Die gebruiker kan virtuele voorwerpe laat reageer deur dit met haar hand aan te raak.
AFRIKAANSE OPSOMMING: Toegevoegde realiteit is ’n jong navorsingsveld by Universiteit Stellenbosch. Aangesien hierdie een van die eerste projekte is wat fokus op toegevoegde realiteit, is ’n teoretiese studie van toegevoegde realiteit as ’n doel gestel. Dit word verskaf in die literatuurstudie, tesame met ’n oorsig oor bestaande oplossings vir die ontwikkeling van toegevoegde realiteit sagteware. Bestaande oplossings is gefokus op die ontwikkeling van merker-gebaseerde toegevoegde realiteit, maar los min ruimte vir die toets van nuwe tegnieke toepasbaar op die veld. Dit lei tot die oorblywende doelwitte van die projek: om ’n platform te ontwerp vir die ontwikkeling van merker-gebaseerde toegevoegde realiteit programme, asook om die platform uit te brei. Ons lewer ’n pragmatiese ontwikkelingsraamwerk wat dit moontlik maak om ’n verskeidenheid nuwe toegevoegde realiteit programme te ontwikkel. Die raamwerk is ontwerp sodat die ontwikkelaar merkers saam met ander rekenaarvisie tegnieke kan gebruik om sagteware te skep. Stereo kameras word gebruik om die posisie van werklike voorwerpe te vind. Die raamwerk maak ook gebruik van ’n 3D skerm om virtuele objekte te vertoon. Toetsprogramme gebou as ’n bewys van die konsep, word vertoon en bespreek. ’n Kleur-gebaseerde tegniek word gebruik om ’n gebruiker se hand te vind, en ’n virtuele voorstelling van die hand word geskep. Die gebruiker kan virtuele voorwerpe laat reageer deur dit met haar hand aan te raak.
Description
Thesis (MScEng)--Stellenbosch University, 2012.
Keywords
Augmented reality, Mixed reality, Computer vision, Software development, Dissertations -- Electronic engineering, Theses -- Electronic engineering, Computer vision techniques