Development of a smart trap for the surveillance of invasive fruit flies using internet of things and artificial intelligence
Date
2022-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY: Invasive fruit flies are of major concern to the agricultural industry, causing millions of rands
lost due to harvest damage, trade bans, and surveillance cost. Current surveillance methods of
invasive fruit flies consist of entomologists manually inspecting fruit fly traps to determine the
species of fruit flies captured. This process is time intensive, expensive, and inaccurate.
This study proposes a smart trap approach based on vision system technology to automate the fruit
fly species classification aspect of the surveillance process. The goal of the smart trap is to
serve as an early warning system of invasive fruit fly outbreaks in pest free areas. A design
science methodology was followed to design a smart trap that uses a camera imbedded in traditional
fruit fly bucket traps to take images of new fruit fly captures and send them to a central server.
Otsu's thresholding image segmentation was compared to the EfficienDet DO object detector for
segmenting fruit fly instances from the image provided by the smart trap camera. EfficeintDet DO
had the highest precision, recall, and Intersection over Union of 92%, 96.88% and 90.5%
respectively. Thereafter pretrained models of EfficientNet BO, MobileNet V2, and MobileNet V3 Large
were trained to differentiate between the Ceratitis capitata and -quilici fruit fly species
segments provided by EfficientDet DO. MobileNet V3 Large had the highest accuracy and Fl-Score of
96.55% and 96.57% respectively. The object detection and image classification algorithms were
trained on Google Colab using transfer learning and image augmentation. These were then executed on
a Raspberry Pi 4 Model B microcomputer. The smart trap system was accurate in distinguishing between two fruit fly species, and capable of
execution on a resource constrained device. The smart trap system shows promise for low cost, easy
deployment smart traps but has some issues regarding connectivity in remote areas.
AFRIKAANS OPSOMMING: Indringervrugtevliee is 'n groot kommer vir die landboubedryf en veroorsaak dat miljoene rande verlore gaan weens oesskade, handelsverbod en toesigkoste. Huidige toesigmetodes van indringer-vrugtevliee bestaan uit entomoloe wat vrugtevlieg-valle met die hand inspekteer om die spesie vrugtevliee wat gevang is, te bepaal. Hierdie proses is tydsintensief, duur en onakkuraat. Hierdie studie stel 'n slim lokval-benadering voor gebaseer op visiestelseltegnologie om die vrugtevliegspesieklassifikasie-aspek van die toesigproses te outomatiseer. Die doel van die slim lokval is om as 'n vroee waarskuwingstelsel van indringervrugtevlieg-uitbrake in plaagvrye gebiede te dien. 'n Wetenskaplike ontwerpmetodologie is gevolg om 'n slim lokval te ontwerp wat 'n kamera gebruik wat in tradisionele vrugtevlieemmervalletjies ingebed is om fotos van nuwe vrugtevlieevangste te neem en dit na 'n sentrale bediener te stuur. Otsu se drumpelbeeldsegmentering is vergelyk met die EfficienDet DO-objekdetektor vir die segmentering van vrugtevlieggevalle vanaf die beeld wat deur die slimvalkamera verskaf word. EfficeintDet DO het die hoogste akkuraatheid, herroeping en kruising oor Unie van 92%, 96.88% en 90.5% onderskeidelik gehad. Daarna is voorafgeleerde modelle van EfficientNet BO, MobileNet V2 en MobileNet V3 Large geleer om te onderskei tussen die Ceratitis capitata en -quilici vrugtevlieg spesies segmente verskaf deur EfficientDet DO. MobileNet V3 Large het die hoogste akkuraatheid en Fl-telling van onderskeidelik 96.55% en 96.57% gehad. Die objekdetektor en beeldklassifikasiealgoritmes is op Google Colab opgelei deur oordragleer en fotoaanvulling te gebruik. Dit is toe op 'n Raspberry Pi 4 Model B mikrorekenaar uitgevoer. Die slim lokvalstelsel was akkuraat in die onderskeid tussen twee vrugtevliegspesies, en in staat om uitgevoer te word op 'n hulpbronbeperkte toestel. Die slim strikstelsel toon belofte vir 'n lae koste, maklike ontplooiing van slim strikke, maar het 'n paar probleme rakende konnektiwiteit in afgelee gebiede.
AFRIKAANS OPSOMMING: Indringervrugtevliee is 'n groot kommer vir die landboubedryf en veroorsaak dat miljoene rande verlore gaan weens oesskade, handelsverbod en toesigkoste. Huidige toesigmetodes van indringer-vrugtevliee bestaan uit entomoloe wat vrugtevlieg-valle met die hand inspekteer om die spesie vrugtevliee wat gevang is, te bepaal. Hierdie proses is tydsintensief, duur en onakkuraat. Hierdie studie stel 'n slim lokval-benadering voor gebaseer op visiestelseltegnologie om die vrugtevliegspesieklassifikasie-aspek van die toesigproses te outomatiseer. Die doel van die slim lokval is om as 'n vroee waarskuwingstelsel van indringervrugtevlieg-uitbrake in plaagvrye gebiede te dien. 'n Wetenskaplike ontwerpmetodologie is gevolg om 'n slim lokval te ontwerp wat 'n kamera gebruik wat in tradisionele vrugtevlieemmervalletjies ingebed is om fotos van nuwe vrugtevlieevangste te neem en dit na 'n sentrale bediener te stuur. Otsu se drumpelbeeldsegmentering is vergelyk met die EfficienDet DO-objekdetektor vir die segmentering van vrugtevlieggevalle vanaf die beeld wat deur die slimvalkamera verskaf word. EfficeintDet DO het die hoogste akkuraatheid, herroeping en kruising oor Unie van 92%, 96.88% en 90.5% onderskeidelik gehad. Daarna is voorafgeleerde modelle van EfficientNet BO, MobileNet V2 en MobileNet V3 Large geleer om te onderskei tussen die Ceratitis capitata en -quilici vrugtevlieg spesies segmente verskaf deur EfficientDet DO. MobileNet V3 Large het die hoogste akkuraatheid en Fl-telling van onderskeidelik 96.55% en 96.57% gehad. Die objekdetektor en beeldklassifikasiealgoritmes is op Google Colab opgelei deur oordragleer en fotoaanvulling te gebruik. Dit is toe op 'n Raspberry Pi 4 Model B mikrorekenaar uitgevoer. Die slim lokvalstelsel was akkuraat in die onderskeid tussen twee vrugtevliegspesies, en in staat om uitgevoer te word op 'n hulpbronbeperkte toestel. Die slim strikstelsel toon belofte vir 'n lae koste, maklike ontplooiing van slim strikke, maar het 'n paar probleme rakende konnektiwiteit in afgelee gebiede.
Description
Thesis (MEng)--Stellenbosch University, 2022.
Keywords
Internet of things, Artificial Intelligence, Artificial intelligence -- Agricultural applications, Artificial intelligence -- Engineering applications, Computer vision, UCTD