Vision-based flight control for a quadrotor UAV

Rademeyer, Jaak (2020-03)

Thesis (MEng)--Stellenbosch University, 2020.

Thesis

ENGLISH ABSTRACT: This thesis presents the development, implementation, and practical verification of a vision-based flight control and waypoint navigation system for a quadrotor unmanned aerial vehicle (UAV). The vision-based flight control system was developed to serve as a building block in a larger project to autonomously navigate an inspection drone relative to an inspection target in an indoor or GPS-denied environment. The intended application of this technology is to use autonomous drones to inspect large commercial airliners for external damage while the aircraft is parked in a maintenance hangar. For the project, a vision-based UAV research platform was created using commercial off-the-shelf UAV hardware and open-source software. The Intel Aero RTF Drone was used as the research vehicle, the PX4 open-source software was used for flight control and state estimation, the Robotics Operating System (ROS) and the ArUco library was used for vision-based position and attitude determination, QGroundControl software was used for the ground control station, and the Gazebo software was used to create a simulation environment that supports both software-in-the-loop and hardware-in-theloop simulations. The vision-based flight control system was developed by modifying the PX4 flight control software to replace the existing GPS-based state estimator with our own visionbased state estimator, and adding vision-based pose estimation software that executes on a companion computer and determines the quadrotor position and attitude using external ArUco markers. The PX4 flight control architecture was also reverse-engineered and the controller gains were re-designed for the Intel Aero RTF flight dynamics. Finally, a waypoint scheduler was implemented to enable the quadrotor UAV to autonomously navigate a pre-determined set of position waypoints around an inspection target. The vision-based flight control system was verified with laboratory experiments, simulations, and practical flight tests. The practical flight tests showed that the vision-based pose estimation reliably detects the ArUco markers and provides position and attitude measurements even during aggressive position and yaw angle steps. The vision-based state estimator successfully estimates the position, velocity, and attitude of the quadrotor UAV, and propagates the state when markers are temporarily lost from the camera’s field of view. The flight tests also demonstrated that the vision-based flight control and waypoint navigation system provides stable and accurate position control for the quadrotor UAV and successfully navigates the vehicle to follow a given sequence of position.

AFRIKAANSE OPSOMMING: Hierdie tesis beskryf die ontwerp, implementering, en praktiese verifikasie van ’n visiegebaseerde vlugbeheer en wegpunt navigasie stelsel vir ’n vier-rotor onbemande vliegtuig (UAV). Die visie-gebaseerde vlugbeheerstelsel is ontwerp om te dien as ’n boublok in ’n groter projek om ’n inspeksie hommeltuig outonoom te navigeer rondom ’n inspeksie teiken in ’n binne-muurse of GPS-geweierde omgewing. Die praktiese toepassing vir die tegnologie is om outonome hommeltuie te gebruik om groot passassiersvliegtuie te inspekteer vir uitwendige skade terwyl die vliegtuig in ’n loods geparkeer is vir herstelwerk. Vir die projek is ’n visie-gebaseerde UAV navorsingsplatform geskep deur gebruik te maak van kommersiële van-die-rak-af UAV hardeware en oopbron sagteware. Die Intel Aero RTF hommeltuig is gebruik as die navorsingsvoertuig, die PX4 oopbron sagteware is gebruik vir vlugbeheer en toestandsafskatting, die Robotics Operating System (ROS) sagteware en die ArUco biblioteek is gebruik vir visie-gebaseerde posisie en oriëntasie bepaling, die QGroundControl sagteware is gebruik vir die grondstasie, en die Gazebo sagteware is gebruik om ’n simulasie omgewing te skep wat beide sagteware-in-die-lus en hardeware-in-die-lus simulasies ondersteun. Die visie-gebaseerde vlugbeheerstelsel is ontwikkel deur die PX4 vlugbeheer sagteware te wysig om die bestaande GPS-gebaseerde toestandafskatter te vervang met ons eie visie-gebaseerde toestandafskatter, en deur visie-gebaseerde lokalisering sagteware by te voeg wat uitvoer op ’n metgesel rekenaar en die voertuig se posisie en oriëntasie te bepaal vanaf eksterne ArUco merkers. Die PX4 vlugbeheer argitektuur is ook truwaarts uitgevind en die beheerder aanwinste is herontwerp vir die Intel Aero RTF vlugdinamika. Laastens is ’n wegpunt skeduleerder implementeer om die voertuig in staat te stel om ’n stel voorafbepaalde posisie wegpunte rondom ’n inspeksie teiken outonoom te navigeer. Die visie-gebaseerde vlugbeheerstelsel is geverifieer met laboratorium eksperimente, simulasies, en praktiese vlugtoetse. Die praktiese vlugtoetse het gewys dat die visiegebaseerde lokalisering die ArUco merkers betroubaar optel en posisie en oriëntasie metings verskaf selfs tydens aggressiewe posisie en gierhoek trapbewegings. Die visiegebaseerde toestandafskatter skat suksesvol die posisie, snelheid en oriëntasie van die voertuig af, en propageer die toestand wanneer merkers tydelik uit die kamera se gesigsveld verdwyn. Die vlugtoetse het ook gedemonstreer dat die visie-gebaseerde vlugbeheer en wegpunt navigasie stelsel stabiele en akkurate posisiebeheer verskaf vir die vier-rotor UAV, en die voertuig suksesvol navigeer om ’n gegewe reeks posisie wegpunte te volg.

Please refer to this item in SUNScholar by using the following persistent URL: http://hdl.handle.net/10019.1/108083
This item appears in the following collections: