High frame rate marker detection for single camera-based localisation
Date
2022-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Localisation is a fundamental component of autonomous navigation. Au tonomous systems that perform high accuracy tasks require position and ori entation information at high rates. Pose information at high rates allows an
autonomous system to react faster to changes in the environment and increases
the accuracy and stability of the system.
Current implementations of landmark-based localisation by using fiducial
markers have a limited utility due to low detection and pose estimation rates.
Increasing the frame rate that fiducial marker systems can run at greatly in creases the utility of these systems.
The goal of this thesis was to design and implement a fiducial marker de tection system that runs on a low-power-, light-weight- and compact hardware
platform that can operate at frame rates larger than 60 Frames Per Second
(FPS) without compromising pose accuracy.
The project goal was achieved by researching existing marker systems and
implementations, designing a marker detection concept, implementing the con cept design on the chosen hardware platform and testing and verifying the
implemented system.
This thesis presents a high frame rate marker detection system that is
designed to run on a ZYNQ 7020. The ZYNQ 7020 is a System on a Chip
(SoC) consisting of a Field Programmable Gate Array (FGPA) and a Central
Processing Unit (CPU).
The marker detection system achieves a higher frame rate at comparable
accuracy to existing systems by utilising the advantages of an FPGA. The
FPGA is utilised to parallelise image processing functions and accelerate the
data intensive image processing system. By using in-line processing to ex tract image information without first needing to store the image in memory
processing time is reduced.
The presented marker detection system has a comparable accuracy to other
fiducial marker detection systems validating the performance of the proposed
system. The designed and implemented system is tested and the system is
verified to operate at an average framerate of 134 FPS.
AFRIKAANSE OPSOMMING: Lokalisering is ’n fundamentele komponent van outonome navigasie. Out onome stelsels wat hoë akkuraatheid take verrig vereis posisie en oriëntasie inligting teen ’n hoë tempo. Posisie en oriëntasie inligting teen ’n hoë tempo laat ’n outonome sisteem toe om vinniger op veranderinge in die omgewing te reageer en verhoog die akkuraatheid en stabiliteit van die stelsel. Huidige implementerings van landmerk-gebaseerde lokalisering deur die ge bruik van merkers het ’n beperkte nut as gevolg van lae opsporing en posisie en oriëntasie skattingstempo. Die verhoging van die raamtempo van merkers telsels kan die bruikbaarheid van hierdie stelsels baie verhoog. Die doel van hierdie tesis was om ’n merker-opsporingstelsel te ontwerp en te implementeer wat op ’n lae-krag-, liggewig- en kompakte hardeware platform werk en wat teen ’n raamtempo groter as 60 FPS kan werk son der om akkuraatheid op te offer. Die projekdoelwit is bereik deur bestaande merkerstelsels en implementerings van huidige merkerstelsels te identifiseer, ’n merker-opsporingskonsep te ontwerp, die merker-opsporingskonsep op die gekose hardeware platform te implementeer en die sisteem te toets om te ver ifieer dat die geïmplementeerde stelsel werk. Hierdie tesis bied ’n hoë raamtempo merker-opsporingstelsel aan wat op ’n ZYNQ 7020 (SoC wat uit ’n FGPA en ’n CPU bestaan) loop. Die merker opsporingstelsel bereik ’n hoër raamtempo teen ’n vergelykbare akkuraatheid deur die voordele van ’n FPGA te benut. Die FPGA word gebruik om die beeldverwerking funksies te paralleliseer en die data intensiewe beeld verwerk ing stelsel te versnel. Deur die gebruik van inlynverwerking om beeldinligting te onttrek sonder dat die beeld eers in geheue gestoor moet word kan die verwerking tyd verminder word. Die voorgestelde merker-opsporingstelsel het vergelykbare akkuraatheid teenoor ander merker-opsporingstelsels wat die prestasie van die verrigting van die voorgestelde stelsel verifieer. Die ontwerpte en geïmplementeerde stelsel is getoets en die stelsel is geverifieer om teen ’n gemiddelde raamsnelheid van 134 FPS te werk.
AFRIKAANSE OPSOMMING: Lokalisering is ’n fundamentele komponent van outonome navigasie. Out onome stelsels wat hoë akkuraatheid take verrig vereis posisie en oriëntasie inligting teen ’n hoë tempo. Posisie en oriëntasie inligting teen ’n hoë tempo laat ’n outonome sisteem toe om vinniger op veranderinge in die omgewing te reageer en verhoog die akkuraatheid en stabiliteit van die stelsel. Huidige implementerings van landmerk-gebaseerde lokalisering deur die ge bruik van merkers het ’n beperkte nut as gevolg van lae opsporing en posisie en oriëntasie skattingstempo. Die verhoging van die raamtempo van merkers telsels kan die bruikbaarheid van hierdie stelsels baie verhoog. Die doel van hierdie tesis was om ’n merker-opsporingstelsel te ontwerp en te implementeer wat op ’n lae-krag-, liggewig- en kompakte hardeware platform werk en wat teen ’n raamtempo groter as 60 FPS kan werk son der om akkuraatheid op te offer. Die projekdoelwit is bereik deur bestaande merkerstelsels en implementerings van huidige merkerstelsels te identifiseer, ’n merker-opsporingskonsep te ontwerp, die merker-opsporingskonsep op die gekose hardeware platform te implementeer en die sisteem te toets om te ver ifieer dat die geïmplementeerde stelsel werk. Hierdie tesis bied ’n hoë raamtempo merker-opsporingstelsel aan wat op ’n ZYNQ 7020 (SoC wat uit ’n FGPA en ’n CPU bestaan) loop. Die merker opsporingstelsel bereik ’n hoër raamtempo teen ’n vergelykbare akkuraatheid deur die voordele van ’n FPGA te benut. Die FPGA word gebruik om die beeldverwerking funksies te paralleliseer en die data intensiewe beeld verwerk ing stelsel te versnel. Deur die gebruik van inlynverwerking om beeldinligting te onttrek sonder dat die beeld eers in geheue gestoor moet word kan die verwerking tyd verminder word. Die voorgestelde merker-opsporingstelsel het vergelykbare akkuraatheid teenoor ander merker-opsporingstelsels wat die prestasie van die verrigting van die voorgestelde stelsel verifieer. Die ontwerpte en geïmplementeerde stelsel is getoets en die stelsel is geverifieer om teen ’n gemiddelde raamsnelheid van 134 FPS te werk.
Description
Thesis (MEng)--Stellenbosch University, 2022.
Keywords
Single Camera-Based Localisation, UCTD, Autonomous navigation, Autonomous systems, Fiducial marker, Detection (Electronics), Localization (Wireless communication systems)