Quantification and improvement of state consistency in a virtual environment under adverse network conditions
Date
2020-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Virtual Reality, Augmented Reality and Virtual Environments (VE) all share a critical requirement: the virtual environment needs to be consistent and interactive, in order to provide the realism that enables a user to be immersed in an environment other than their own. State in Virtual Environment is the information that needs to be disseminated to every user’s interface in order to render the virtual environment. Ensuring that each user has a live and consistent view of the VE, requires that each user receives the most recent changes to the VE. Interactivity in the VE increases the amount of information that must be disseminated between interacting users, and also means that updates must be sent with low latency to ensure state consistency. Furthermore, in order to complete the immersion into the virtual world, the user must be disconnected from her current world: by using wireless communication, the user can be untethered and free to move around to experience the virtual world. Wireless virtual reality is thus seen as a necessity for virtual immersion. As the next generation of mobile wireless communication, the 5G specification promises high throughput of up to 10Gbps data rate, 1 millisecond latency and ultra-high reliability coupled with a 100-fold increase in the number of connected devices. 5G technology could finally enable distributed, fully immersive, wireless Virtual Reality. Wireless communication is susceptible to interference and therefore prone to information loss. In order to understand how wireless loss will affect state consistency, we need to evaluate state degradation under adverse network conditions, such as loss, network delay and bandwidth limitations. In this dissertation we quantify the state consistency by using VAST, an existing VE implementation, and the Mininet network emulator, which allows controlling different adverse network conditions. We found that under most adverse network conditions, the state consistency degrades significantly. We also found that UDP was less sensitive to adverse conditions than TCP. In order to improve the state consistency, we propose a network coding based packet loss mitigation protocol that uses the UDP transport protocol. We term this new protocol UDPNC and show that it is successful at improving state consistency and also performs well when network delay is introduced. However, we show that UDPNC requires significantly more bandwidth than other network transport protocols and suffers in scenarios where bandwidth is limited. However, assuming that a high bandwidth wireless connection is available, such as provided by 5G mobile or Wi-Fi 802.11ac, we argue that the extra bandwidth would not present a significant cost to improving state consistency.
AFRIKAANSE OPSOMMING: Virtuele realiteit, toegevoegde realiteit en virtuele omgewings het ’n kritiese vereiste in gemeen: die virtuele omgewing moet konsekwent en interaktief bly om die gebruiker in die realisme van die virtuele omgewing in te dompel. Die toestand van die Virtuele Omgewing (VO) is die inligting wat versprei moet word na elke gebruiker se toestel om die omgewing te vertoon. Om te verseker dat elke gebruiker ‘n aktuele en konsekwente beeld van die VO het, vereis dat elke gebruiker die mees onlangse veranderinge aan die VO ontvang. Interaktiwiteit in die VO vermeerder die hoeveelheid inligting wat versprei moet word na gebruikers. Hierdie inligting moet ook met ’n lae wagtyd versprei word om die virtuele toestand konsekwent te hou. Om die indompeling van die virtuele omgewing verder te vervolmaak, moet die gebruiker ontkoppel word van die vereistes van die huidige wêreld: deur die gebruik van draadlose kommunikasie kan die gebruiker vrylik in die virtuele omgewing rond beweeg. Draadlose virtuele realiteit is dus noodsaaklik vir volledige indompeling. 5G kommunikasie is die nuwe generasie draagbare-draadlose spesifikasie wat hoë bandwydte van tot 10 Gbps, 1 millisekonde wagtyd en ultra-betroubare kommunikasie waarborg. 5G kommunikasie sal ook ‘n honderdvoudige vermeerdering in die aantal gekonnekteerde toestelle bewerkstellig. 5G tegnologie kan uiteindelik verspreide volledig-indompelende en draadlose Virtuele Realiteit toepassings bewerkstellig. Draadlose kommunikasie is vatbaar vir interferensie en dus geneig tot inligting verlies. Om te verstaan hoe draadlose inligting verlies die konsekwentheid van die virtuele omgewing beïnvloed, moet ons die agteruitgang onder ongustige network toestande beoordeel. Ongunstige netwerk toestande sluit in inligting verlies, network vertraging en bandwydte beperkings. In hierdie proefskrif kwantiseer ons die toestand konsekwentheid deur om van VAST, ‘n bestaande VO implementasie, gebruik te maak en die Mininet netwerk emuleerder te gebruik om die ongunstige netwerk toestande te beheer. Ons het gevind dat onder meeste ongunstige network toestande die konsekwentheid van die virtuele omgewing verswak. Ons het ook gevind dat UDP minder sensitief is tot ongunstige toestande in vergelyking met TCP. Om die konsekwentheid van die virtuele omgewing te verbeter, stel ons ’n netwerk-kodering gebaseerde pakkie-verlies-vermindering protokol voor wat die UDP protokol gebruik. Ons noem hierdie protokol UDPNC en bewys dat dit suksesvol is om konsekwentheid in die VO te verbeter. Ons bewys ook dat UDPNC korrek funksioneer en die konsekwenteit behou selfs al word pakkies in die netwerk vertraag. Ons het egter gevind dat UDPNC aansienlik meer bandwydte vereis as ander netwerk protokolle en verloor effektiwiteit onder bandwydte beperkings. Indien ons egter aanvaar dat ‘n hoë bandwydte konneksie soos 5G of Wi-Fi 802.11ac gebruik sal word, beweer ons dat die ekstra bandwydte nie ’n noemenswaardige koste sal wees om die toestandkonsekwentheid van die VO te verbeter nie.
AFRIKAANSE OPSOMMING: Virtuele realiteit, toegevoegde realiteit en virtuele omgewings het ’n kritiese vereiste in gemeen: die virtuele omgewing moet konsekwent en interaktief bly om die gebruiker in die realisme van die virtuele omgewing in te dompel. Die toestand van die Virtuele Omgewing (VO) is die inligting wat versprei moet word na elke gebruiker se toestel om die omgewing te vertoon. Om te verseker dat elke gebruiker ‘n aktuele en konsekwente beeld van die VO het, vereis dat elke gebruiker die mees onlangse veranderinge aan die VO ontvang. Interaktiwiteit in die VO vermeerder die hoeveelheid inligting wat versprei moet word na gebruikers. Hierdie inligting moet ook met ’n lae wagtyd versprei word om die virtuele toestand konsekwent te hou. Om die indompeling van die virtuele omgewing verder te vervolmaak, moet die gebruiker ontkoppel word van die vereistes van die huidige wêreld: deur die gebruik van draadlose kommunikasie kan die gebruiker vrylik in die virtuele omgewing rond beweeg. Draadlose virtuele realiteit is dus noodsaaklik vir volledige indompeling. 5G kommunikasie is die nuwe generasie draagbare-draadlose spesifikasie wat hoë bandwydte van tot 10 Gbps, 1 millisekonde wagtyd en ultra-betroubare kommunikasie waarborg. 5G kommunikasie sal ook ‘n honderdvoudige vermeerdering in die aantal gekonnekteerde toestelle bewerkstellig. 5G tegnologie kan uiteindelik verspreide volledig-indompelende en draadlose Virtuele Realiteit toepassings bewerkstellig. Draadlose kommunikasie is vatbaar vir interferensie en dus geneig tot inligting verlies. Om te verstaan hoe draadlose inligting verlies die konsekwentheid van die virtuele omgewing beïnvloed, moet ons die agteruitgang onder ongustige network toestande beoordeel. Ongunstige netwerk toestande sluit in inligting verlies, network vertraging en bandwydte beperkings. In hierdie proefskrif kwantiseer ons die toestand konsekwentheid deur om van VAST, ‘n bestaande VO implementasie, gebruik te maak en die Mininet netwerk emuleerder te gebruik om die ongunstige netwerk toestande te beheer. Ons het gevind dat onder meeste ongunstige network toestande die konsekwentheid van die virtuele omgewing verswak. Ons het ook gevind dat UDP minder sensitief is tot ongunstige toestande in vergelyking met TCP. Om die konsekwentheid van die virtuele omgewing te verbeter, stel ons ’n netwerk-kodering gebaseerde pakkie-verlies-vermindering protokol voor wat die UDP protokol gebruik. Ons noem hierdie protokol UDPNC en bewys dat dit suksesvol is om konsekwentheid in die VO te verbeter. Ons bewys ook dat UDPNC korrek funksioneer en die konsekwenteit behou selfs al word pakkies in die netwerk vertraag. Ons het egter gevind dat UDPNC aansienlik meer bandwydte vereis as ander netwerk protokolle en verloor effektiwiteit onder bandwydte beperkings. Indien ons egter aanvaar dat ‘n hoë bandwydte konneksie soos 5G of Wi-Fi 802.11ac gebruik sal word, beweer ons dat die ekstra bandwydte nie ’n noemenswaardige koste sal wees om die toestandkonsekwentheid van die VO te verbeter nie.
Description
Thesis (PhD)--Stellenbosch University, 2020.
Keywords
Virtual environments, Virtual reality, VInteractive computer systems, 5G communication systems, UCTD, Computer networks -- Stability, User Datagram Protocol