High frame rate marker detection for single camera-based localisation

Pretorius, Schalk (2022-04)

Thesis (MEng)--Stellenbosch University, 2022.

Thesis

ENGLISH ABSTRACT: Localisation is a fundamental component of autonomous navigation. Au tonomous systems that perform high accuracy tasks require position and ori entation information at high rates. Pose information at high rates allows an autonomous system to react faster to changes in the environment and increases the accuracy and stability of the system. Current implementations of landmark-based localisation by using fiducial markers have a limited utility due to low detection and pose estimation rates. Increasing the frame rate that fiducial marker systems can run at greatly in creases the utility of these systems. The goal of this thesis was to design and implement a fiducial marker de tection system that runs on a low-power-, light-weight- and compact hardware platform that can operate at frame rates larger than 60 Frames Per Second (FPS) without compromising pose accuracy. The project goal was achieved by researching existing marker systems and implementations, designing a marker detection concept, implementing the con cept design on the chosen hardware platform and testing and verifying the implemented system. This thesis presents a high frame rate marker detection system that is designed to run on a ZYNQ 7020. The ZYNQ 7020 is a System on a Chip (SoC) consisting of a Field Programmable Gate Array (FGPA) and a Central Processing Unit (CPU). The marker detection system achieves a higher frame rate at comparable accuracy to existing systems by utilising the advantages of an FPGA. The FPGA is utilised to parallelise image processing functions and accelerate the data intensive image processing system. By using in-line processing to ex tract image information without first needing to store the image in memory processing time is reduced. The presented marker detection system has a comparable accuracy to other fiducial marker detection systems validating the performance of the proposed system. The designed and implemented system is tested and the system is verified to operate at an average framerate of 134 FPS.

AFRIKAANSE OPSOMMING: Lokalisering is ’n fundamentele komponent van outonome navigasie. Out onome stelsels wat hoë akkuraatheid take verrig vereis posisie en oriëntasie inligting teen ’n hoë tempo. Posisie en oriëntasie inligting teen ’n hoë tempo laat ’n outonome sisteem toe om vinniger op veranderinge in die omgewing te reageer en verhoog die akkuraatheid en stabiliteit van die stelsel. Huidige implementerings van landmerk-gebaseerde lokalisering deur die ge bruik van merkers het ’n beperkte nut as gevolg van lae opsporing en posisie en oriëntasie skattingstempo. Die verhoging van die raamtempo van merkers telsels kan die bruikbaarheid van hierdie stelsels baie verhoog. Die doel van hierdie tesis was om ’n merker-opsporingstelsel te ontwerp en te implementeer wat op ’n lae-krag-, liggewig- en kompakte hardeware platform werk en wat teen ’n raamtempo groter as 60 FPS kan werk son der om akkuraatheid op te offer. Die projekdoelwit is bereik deur bestaande merkerstelsels en implementerings van huidige merkerstelsels te identifiseer, ’n merker-opsporingskonsep te ontwerp, die merker-opsporingskonsep op die gekose hardeware platform te implementeer en die sisteem te toets om te ver ifieer dat die geïmplementeerde stelsel werk. Hierdie tesis bied ’n hoë raamtempo merker-opsporingstelsel aan wat op ’n ZYNQ 7020 (SoC wat uit ’n FGPA en ’n CPU bestaan) loop. Die merker opsporingstelsel bereik ’n hoër raamtempo teen ’n vergelykbare akkuraatheid deur die voordele van ’n FPGA te benut. Die FPGA word gebruik om die beeldverwerking funksies te paralleliseer en die data intensiewe beeld verwerk ing stelsel te versnel. Deur die gebruik van inlynverwerking om beeldinligting te onttrek sonder dat die beeld eers in geheue gestoor moet word kan die verwerking tyd verminder word. Die voorgestelde merker-opsporingstelsel het vergelykbare akkuraatheid teenoor ander merker-opsporingstelsels wat die prestasie van die verrigting van die voorgestelde stelsel verifieer. Die ontwerpte en geïmplementeerde stelsel is getoets en die stelsel is geverifieer om teen ’n gemiddelde raamsnelheid van 134 FPS te werk.

Please refer to this item in SUNScholar by using the following persistent URL: http://hdl.handle.net/10019.1/124737
This item appears in the following collections: