Development of a stereo vision mixed reality framework

Le Roux, Christiaan Johannes Hendrik (2012-03)

Thesis (MScEng)--Stellenbosch University, 2012.

Thesis

ENGLISH ABSTRACT: Augmented reality is a fairly young research field, still in an infancy stage at Stellenbosch University. Since this is one of the first augmented reality projects, one goal is to present a theoretical study of augmented reality. This study is given in the literature study, along with a review of the available development solutions. While there are various tools available with which one can create markerbased augmented reality applications, these tools are not meant for testing new techniques and algorithms in an augmented or mixed reality. The remaining goals of this project is to create a platform for the rapid design of augmented reality applications, and to expand the capabilities of this platform beyond marker-based augmented reality. In this project we present the design and implementation of a pragmatic mixed-reality framework capable of a wider variety of applications. A design is shown where marker tracking can be used alongside other computer vision techniques to design new applications. The framework utilises stereo cameras to find the position of real world objects, and a 3D display to make the mixed reality environment as immersive as possible. Proof of concept test applications built with the framework are presented. Colour based techniques are used to find a user’s hand and create a virtual representation of it. This allows the user to interact with a virtual object in an augmented reality scene by ‘touching’ it with her hand.

AFRIKAANSE OPSOMMING: Toegevoegde realiteit is ’n jong navorsingsveld by Universiteit Stellenbosch. Aangesien hierdie een van die eerste projekte is wat fokus op toegevoegde realiteit, is ’n teoretiese studie van toegevoegde realiteit as ’n doel gestel. Dit word verskaf in die literatuurstudie, tesame met ’n oorsig oor bestaande oplossings vir die ontwikkeling van toegevoegde realiteit sagteware. Bestaande oplossings is gefokus op die ontwikkeling van merker-gebaseerde toegevoegde realiteit, maar los min ruimte vir die toets van nuwe tegnieke toepasbaar op die veld. Dit lei tot die oorblywende doelwitte van die projek: om ’n platform te ontwerp vir die ontwikkeling van merker-gebaseerde toegevoegde realiteit programme, asook om die platform uit te brei. Ons lewer ’n pragmatiese ontwikkelingsraamwerk wat dit moontlik maak om ’n verskeidenheid nuwe toegevoegde realiteit programme te ontwikkel. Die raamwerk is ontwerp sodat die ontwikkelaar merkers saam met ander rekenaarvisie tegnieke kan gebruik om sagteware te skep. Stereo kameras word gebruik om die posisie van werklike voorwerpe te vind. Die raamwerk maak ook gebruik van ’n 3D skerm om virtuele objekte te vertoon. Toetsprogramme gebou as ’n bewys van die konsep, word vertoon en bespreek. ’n Kleur-gebaseerde tegniek word gebruik om ’n gebruiker se hand te vind, en ’n virtuele voorstelling van die hand word geskep. Die gebruiker kan virtuele voorwerpe laat reageer deur dit met haar hand aan te raak.

Please refer to this item in SUNScholar by using the following persistent URL: http://hdl.handle.net/10019.1/20034
This item appears in the following collections: