Low-Bandwidth transmission of body scan using skeletal animation
Date
2020-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: With the recent heightened commercial availability of virtual reality head-mounted
displays, methods of creating content for such systems are now becoming a relevant concern. Computer generated content is currently widely used for such
purposes, as it can easily be geared towards virtual environments viewed on virtual reality displays. Recording content from the real world, however, still poses
many challenges.
Two common problems in recording video for virtual reality are that the capturing
process can require extensive hardware to completely capture a full scene and that
large amounts of bandwidth are required to transmit the data generated by 3D
video capture hardware.
A system is created for this study which attempts to address and avoid those problems, in exchange for a system which is less accurate by means of recreating the
experience rather than directly relaying it. As static environments can be captured
through other methods, the system records only a human actor.
The purpose of this study is to determine whether the animation of a body scan
produced by this system can still be an immersive virtual reality experience despite the reduction of accuracy that may be necessary to achieve a low-cost, low bandwidth solution.
A single off-the-shelf 3D camera, the Xbox Kinect, is used to capture 3D and
skeleton data, as well as other useful data sources such as RGB video and audio.
Using only this device allows an easy set-up, at a low cost, while the software
approach of animating a body scan with skeleton data allows for low bandwidth
transmission over a network.
The system created for this study captures, processes, and transmits a body scan
over a network in real time. The resultant body scan is then displayed in a virtual
environment on a virtual reality head-mounted display.
This system achieved a data reduction of over 99% (when compared the original
data or a system with similar aims) and the quality was evaluated favourably in a
survey of 38 participants recruited to view a demonstration of the system.
AFRIKAANSE OPSOMMING: Metodes om inhoud vir kopgemonteerde virtuele realiteitskerms te skep word ’n relevante probleem as gevolg van die onlangse verhoogde kommersiële beskikbaarheid van sulke stelsels. Tans is rekenaargegenereerde inhoud wyd in gebruik vir sulke doeleindes, aangesien dit maklik te rig is op die virtuele omgewings wat op virtuele werklikheidskerms waargeneem word. Daarenteen bied die opname van inhoud uit die regte wêreld nog baie uitdagings. Twee algemene probleme met die opname van video vir virtuele werklikheid is dat die opneemproses uitgebreide hardeware kan benodig om ’n volle toneel in geheel vas te vang en dat die oordrag van die data wat deur 3-D video-opname hardeware gegenereer word, groot hoeveelhede bandwydte benodig. Vir hierdie studie word ’n stelsel geskep wat poog om hierdie probleme aan te spreek en te vermy, in ruil vir ’n stelsel wat minder akkuraat is deur eerder die ervaring te herskep as om dit direk oor te dra. Siende dat statiese omgewings op ander maniere vasgelê kan word, neem die stelsel slegs ’n menslike akteur op. Die doel van die studie is om te bepaal of die animasie van ’n liggaamskandering wat deur hierdie stelsel produseer word, ondanks die vermindering van die akkuraatheid wat nodig mag wees vir ’n lae-koste, lae bandwydte oplossing, steeds ’n ingedompelde virtuele werklikheidservaring kan lewer. ’n Enkele verbruikersgraad 3D-kamera, die Xbox Kinect, is gebruik om 3D- en skelet-data, asook ander bruikbare databronne soos RGB-video en klank, op te neem. Die gebruik van slegs hierdie toestel maak maklike opstelling teen ’n lae koste moontlik, terwyl die sagteware benadering om ’n liggaamskandering met skeletdata te animeer, lae-bandwydte oordrag oor ’n netwerk moontlik maak. Die stelsel wat vir die studie geskep is, neem ’n liggaamskandering op, verwerk en stuur dit intyds oor ’n netwerk. Die resulterende liggaam geskandeer word dan in ’n virtuele omgewing vertoon op ’n kopgemonteerde virtuele werklikheidskerm. Hierdie stelsel het ’n data-vermindering van meer as 99% behaal (in vergelyking met die oorspronklike data of ’n stelsel met soortgelyke doelstellings) en in ’n opname onder 38 deelnemers gewerf om ’n demonstrasie van die stelsel te aanskou, is die gehalte gunstig beoordeel.
AFRIKAANSE OPSOMMING: Metodes om inhoud vir kopgemonteerde virtuele realiteitskerms te skep word ’n relevante probleem as gevolg van die onlangse verhoogde kommersiële beskikbaarheid van sulke stelsels. Tans is rekenaargegenereerde inhoud wyd in gebruik vir sulke doeleindes, aangesien dit maklik te rig is op die virtuele omgewings wat op virtuele werklikheidskerms waargeneem word. Daarenteen bied die opname van inhoud uit die regte wêreld nog baie uitdagings. Twee algemene probleme met die opname van video vir virtuele werklikheid is dat die opneemproses uitgebreide hardeware kan benodig om ’n volle toneel in geheel vas te vang en dat die oordrag van die data wat deur 3-D video-opname hardeware gegenereer word, groot hoeveelhede bandwydte benodig. Vir hierdie studie word ’n stelsel geskep wat poog om hierdie probleme aan te spreek en te vermy, in ruil vir ’n stelsel wat minder akkuraat is deur eerder die ervaring te herskep as om dit direk oor te dra. Siende dat statiese omgewings op ander maniere vasgelê kan word, neem die stelsel slegs ’n menslike akteur op. Die doel van die studie is om te bepaal of die animasie van ’n liggaamskandering wat deur hierdie stelsel produseer word, ondanks die vermindering van die akkuraatheid wat nodig mag wees vir ’n lae-koste, lae bandwydte oplossing, steeds ’n ingedompelde virtuele werklikheidservaring kan lewer. ’n Enkele verbruikersgraad 3D-kamera, die Xbox Kinect, is gebruik om 3D- en skelet-data, asook ander bruikbare databronne soos RGB-video en klank, op te neem. Die gebruik van slegs hierdie toestel maak maklike opstelling teen ’n lae koste moontlik, terwyl die sagteware benadering om ’n liggaamskandering met skeletdata te animeer, lae-bandwydte oordrag oor ’n netwerk moontlik maak. Die stelsel wat vir die studie geskep is, neem ’n liggaamskandering op, verwerk en stuur dit intyds oor ’n netwerk. Die resulterende liggaam geskandeer word dan in ’n virtuele omgewing vertoon op ’n kopgemonteerde virtuele werklikheidskerm. Hierdie stelsel het ’n data-vermindering van meer as 99% behaal (in vergelyking met die oorspronklike data of ’n stelsel met soortgelyke doelstellings) en in ’n opname onder 38 deelnemers gewerf om ’n demonstrasie van die stelsel te aanskou, is die gehalte gunstig beoordeel.
Description
Thesis (MEng)--Stellenbosch University, 2020.
Keywords
Body Scan, UCTD, Scan RNA, 3-D imaging, Xbox video games, Skeleton data, Animation