Fruit detection in an orchard using deep learning approaches
Date
2022-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Over the last few years, we have witnessed rapid advancement in technology
in different fields: communication, transport security, finance, and medicine.
Agriculture is no exception. Today, agriculture is practised with sophisticated
technologies such as satellite imaging, soil and water sensors, weather tracking, and robots. Fruit detection is a critical process in robot harvesting and yield estimation. With the rise in deep learning, state-of-the-art object detectors have been developed. In this paper, we deploy two state-of-the-art model
detectors; namely, Mask Region-based CNN (Mask R-CNN), and You Only Look Once (YOLOv5), in the context of fruit detection. The training data are orchard images of apples and mangoes taken under natural outdoor conditions. The images are taken under varied illumination conditions to ensure
that the models learn rich features allowing them to generalize well in a new dataset. Ablation studies are presented to understand how the two models
compare in terms of accuracy and speed at inference time. We also investigated the significance of transfer learning in such an application. In particular,
we considered weight initialization using ImageNet, COCO, and weights from models trained on a di erent orchard dataset. As a post-processing step, we
implemented ensemble techniques on the detection results of the two models.
Mask R-CNN and YOLOv5 attained an F1 score of 93% on mangoes datasets and 88% on apple images, and ensembling led to an up to 3% increase in F1 score.
AFRIKAANSE OPSOMMING: Oor die laaste paar jaar het ons vinnige vooruitgang in tegnologie op verskillende terreine gesien: kommunikasie, vervoersekuriteit, finansies en medisyne. Landbou is geen uitsondering nie. Vandag word landbou beoefen met gesofistikeerde tegnologieê soos satellietbeelding, grond- en watersensors, weeropsporing en robotte. Vrugopsporing is 'n kritieke proses in robot-oes en opbrengsskatting. Met die toename in diep leer, state-of-the-art voorwerp- verklikkers ontwikkel. In hierdie vraestel, ontplooi ons twee state-of-the-art model detectors; naamlik, Maskerstreek-gebaseerde CNN (Mask R-CNN), en You Only Look Once (YOLOv5), in die konteks van vrugte-opsporing. Die opleidingsdata is boordbeelde van appels en mango's wat onder natuurlike buitelugtoestande geneem is. Die beelde word onder verskillende beligtings- toestande geneem om te verseker dat die modelle ryk kenmerke aanleer wat hulle in staat stel om goed te veralgemeen in 'n nuwe datastel. Ablasiestu- dies word aangebied om te verstaan hoe die twee modelle vergelyk in terme van akkuraatheid en spoed op afleidingstyd. Ons het ook die belangrikheid van oordragleer in so 'n toepassing ondersoek. Ons het veral gewigsinisiasie oorweeg met behulp van ImageNet, COCO en gewigte van modelle wat op 'n ander boorddatastel opgelei is. As 'n naverwerkingstap het ons ensemble- tegnieke op die opsporingsresultate van die twee modelle geà mplementeer. Masker R-CNN en YOLOv5 het 'n F1-telling van 93% op mango's-datastelle en 88% op appelbeelde behaal, en samestelling het gelei tot 'n tot 3% toename in F1-telling.
AFRIKAANSE OPSOMMING: Oor die laaste paar jaar het ons vinnige vooruitgang in tegnologie op verskillende terreine gesien: kommunikasie, vervoersekuriteit, finansies en medisyne. Landbou is geen uitsondering nie. Vandag word landbou beoefen met gesofistikeerde tegnologieê soos satellietbeelding, grond- en watersensors, weeropsporing en robotte. Vrugopsporing is 'n kritieke proses in robot-oes en opbrengsskatting. Met die toename in diep leer, state-of-the-art voorwerp- verklikkers ontwikkel. In hierdie vraestel, ontplooi ons twee state-of-the-art model detectors; naamlik, Maskerstreek-gebaseerde CNN (Mask R-CNN), en You Only Look Once (YOLOv5), in die konteks van vrugte-opsporing. Die opleidingsdata is boordbeelde van appels en mango's wat onder natuurlike buitelugtoestande geneem is. Die beelde word onder verskillende beligtings- toestande geneem om te verseker dat die modelle ryk kenmerke aanleer wat hulle in staat stel om goed te veralgemeen in 'n nuwe datastel. Ablasiestu- dies word aangebied om te verstaan hoe die twee modelle vergelyk in terme van akkuraatheid en spoed op afleidingstyd. Ons het ook die belangrikheid van oordragleer in so 'n toepassing ondersoek. Ons het veral gewigsinisiasie oorweeg met behulp van ImageNet, COCO en gewigte van modelle wat op 'n ander boorddatastel opgelei is. As 'n naverwerkingstap het ons ensemble- tegnieke op die opsporingsresultate van die twee modelle geà mplementeer. Masker R-CNN en YOLOv5 het 'n F1-telling van 93% op mango's-datastelle en 88% op appelbeelde behaal, en samestelling het gelei tot 'n tot 3% toename in F1-telling.
Description
Thesis (MSc)--Stellenbosch University, 2022.
Keywords
Object detection, Image segmentation, Convolutional Neural Network (CNN), Fruit detection, UCTD, Deep learning (Machine learning)