Detecting potholes with monocular computer vision: A Performance evaluation of techniques
Date
2016-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Potholes in road surfaces create problems for motorists and driverless vehicles. This is because the damage to the vehicle that can be caused by hitting a pothole with a vehicle can be costly and even dangerous. Previous works of other authors with respect to pothole detection did not investigate the limitations of the detection capabilities of their works such as the distance at which the potholes could be detected and often used footage where the camera was directly facing the road, thereby only having a viewing range of roughly 2-4 m.
In order to complete this project, it was necessary to obtain suitable footage of potholes. The method for collecting the pothole footage can be seen as novel. The method included attaching a GoPro camera inside of a vehicle windscreen and photographing the road as the vehicle was driven around. This footage is, therefore, akin to a driver’s viewpoint of the road. This viewpoint is advantageous as it ensures that the maximum amount of the road can be photographed by the camera. By mounting the camera in this manner, it could potentially be possible to detect potholes before the vehicle reaches them as opposed to other works done where the camera was mounted to the rear of the vehicle. In the instance of a driverless vehicle, this would allow the vehicle to avoid hitting the pothole and would prevent damage to the vehicle.
Due to the difficulty of detecting potholes, the footage was split into two different datasets namely, a simple scenario and a complex scenario. The simple scenario considered footage where the road lighting conditions were always open and clear. In this scenario, the road was extracted and only the extracted region was used in pothole detection algorithms. The complex scenario considered footage where the road lighting conditions were either open or contained mixed lighting conditions. Therefore, in this scenario, the input images were cropped to the suspected road region within the image. This region is rectangular and contains additional information along the sides of the image such as foliage etc.
Image processing algorithms, as well as machine learning algorithms were deployed in this thesis to investigate the feasibility of pothole detection. The machine learning algorithms used, consisted of an LBP (Local Binary Pattern) cascade classifier and an SVM (Support Vector Machine) with HOG (Histogram of Oriented Gradients) features.
The pothole locations were also analysed in terms of the relative distance that a pothole occurred from the camera. This process is known as depth estimation in monocular images, and this work allowed for determining the ranges at which pothole detection was more successful than others. The discrepancy in the results at the different depth ranges might indicate that different algorithms and classifiers need to be implemented for different ranges to increase the performance of the pothole detector.
The final results of this project indicate that under certain conditions, it is possible to detect potholes with modest results.
AFRIKAANSE OPSOMMING: Slaggate in die pad skep probleme vir motoriste en bestuurderlose voertuie. Dit is omdat die skade wat veroorsaak kan word aan die voertuig deur 'n slaggat te slaan duur en selfs gevaarlik kan wees. Vorige werke van ander skrywers met betrekking tot slaggat opsporing, het nie die beperkinge van die opsporing vermoëns van hul werke ondersoek nie soos byvoorbeeld, die afstand wat die slaggate kon opgespoor word en dikwels was beeldmateriaal gebruik waar die kamera direk na die pad kyk en sodoende net besigtiging van ongeveer 2-4 m het. Ten einde hierdie projek te voltooi, was dit nodig om geskikte beeldmateriaal van slaggate te bekom. Die metode vir die insameling van die slaggat beeldmateriaal kan gesien word as nuut. Die metode behels die hegting van 'n GoPro kamera aan die binnekant van 'n voertuig voorruit en om dan die pad fotografeer soos wat die voertuig bestuur word. Hierdie materiaal is dus soortgelyk aan die oogpunt van 'n bestuurder. Hierdie metode is voordelig aangesien dit verseker dat die maksimum area van die pad gefotografeer kan word deur die kamera. Deur die kamera te monteer op hierdie wyse, kan dit potensieel moontlik wees om slaggate op te spoor voordat die voertuig hulle bereik, in teenstelling met ander werke gedoen waar die kamera aan die agterkant van die voertuig gemonteer was. In die geval van 'n bestuurderlose voertuig, sou dit die voertuig in staat stel om slaggate te vermy en gevolglik skade aan die voertuig te voorkom. As gevolg van die probleme van die opsporing van slaggate, was die beeldmateriaal verdeel in twee verskillende datastelle naamlik 'n eenvoudige geval en 'n komplekse geval. Die eenvoudige geval oorweeg beeldmateriaal waar die pad altyd oop en duidelik was. In hierdie geval, is die pad onttrek en slegs die onttrekde streek is gebruik om slaggate in op te spoor. Die komplekse geval oorweeg beeldmateriaal waar die pad omstandighede of oop of gemengde lig omstandighede gehad het. Daarom, in hierdie geval, was die beelde geknip om die vermeende pad streek binne die beeld uit te haal. Hierdie streek is reghoekig en bevat aanvullende inligting langs die kante van die beeld soos blare en bome. Beeldverwerking algoritmes, asook masjien leer algoritmes is ontplooi in hierdie verhandeling om die haalbaarheid van slaggat opsporing te ondersoek. Die masjien leer algoritmes wat hier bruik word, bestaan uit 'n LBP (Local Binary Pattern) kaskade klassifiseerder en 'n SVM (Support Vector Machine) met HOG (Histogram of Oriented Gradients) kenmerke. Die slaggate is ook ontleed in terme van die relatiewe afstand wat 'n slaggat plaasgevind vanaf die kamera. Hierdie proses staan bekend as diepte skatting in monokulêre beelde. Hierdie werk het dit moontlik gemaak om te bepaal hoe suksesvol die slaggat opsporing was met betrekking tot die afstand waar die slaggat voorkom per klassifiseerder. Die verskil in die resultate van die verskillende diepte reekse kan dui dat verskillende algoritmes en klassifiseerders nodig is vir verskillende reekse om die prestasie van slaggat opspoorders te verbeter. Die finale uitslae van hierdie projek dui aan dat onder sekere omstandighede, is dit moontlik om slaggate op te spoor met 'n beskeie resultate.
AFRIKAANSE OPSOMMING: Slaggate in die pad skep probleme vir motoriste en bestuurderlose voertuie. Dit is omdat die skade wat veroorsaak kan word aan die voertuig deur 'n slaggat te slaan duur en selfs gevaarlik kan wees. Vorige werke van ander skrywers met betrekking tot slaggat opsporing, het nie die beperkinge van die opsporing vermoëns van hul werke ondersoek nie soos byvoorbeeld, die afstand wat die slaggate kon opgespoor word en dikwels was beeldmateriaal gebruik waar die kamera direk na die pad kyk en sodoende net besigtiging van ongeveer 2-4 m het. Ten einde hierdie projek te voltooi, was dit nodig om geskikte beeldmateriaal van slaggate te bekom. Die metode vir die insameling van die slaggat beeldmateriaal kan gesien word as nuut. Die metode behels die hegting van 'n GoPro kamera aan die binnekant van 'n voertuig voorruit en om dan die pad fotografeer soos wat die voertuig bestuur word. Hierdie materiaal is dus soortgelyk aan die oogpunt van 'n bestuurder. Hierdie metode is voordelig aangesien dit verseker dat die maksimum area van die pad gefotografeer kan word deur die kamera. Deur die kamera te monteer op hierdie wyse, kan dit potensieel moontlik wees om slaggate op te spoor voordat die voertuig hulle bereik, in teenstelling met ander werke gedoen waar die kamera aan die agterkant van die voertuig gemonteer was. In die geval van 'n bestuurderlose voertuig, sou dit die voertuig in staat stel om slaggate te vermy en gevolglik skade aan die voertuig te voorkom. As gevolg van die probleme van die opsporing van slaggate, was die beeldmateriaal verdeel in twee verskillende datastelle naamlik 'n eenvoudige geval en 'n komplekse geval. Die eenvoudige geval oorweeg beeldmateriaal waar die pad altyd oop en duidelik was. In hierdie geval, is die pad onttrek en slegs die onttrekde streek is gebruik om slaggate in op te spoor. Die komplekse geval oorweeg beeldmateriaal waar die pad omstandighede of oop of gemengde lig omstandighede gehad het. Daarom, in hierdie geval, was die beelde geknip om die vermeende pad streek binne die beeld uit te haal. Hierdie streek is reghoekig en bevat aanvullende inligting langs die kante van die beeld soos blare en bome. Beeldverwerking algoritmes, asook masjien leer algoritmes is ontplooi in hierdie verhandeling om die haalbaarheid van slaggat opsporing te ondersoek. Die masjien leer algoritmes wat hier bruik word, bestaan uit 'n LBP (Local Binary Pattern) kaskade klassifiseerder en 'n SVM (Support Vector Machine) met HOG (Histogram of Oriented Gradients) kenmerke. Die slaggate is ook ontleed in terme van die relatiewe afstand wat 'n slaggat plaasgevind vanaf die kamera. Hierdie proses staan bekend as diepte skatting in monokulêre beelde. Hierdie werk het dit moontlik gemaak om te bepaal hoe suksesvol die slaggat opsporing was met betrekking tot die afstand waar die slaggat voorkom per klassifiseerder. Die verskil in die resultate van die verskillende diepte reekse kan dui dat verskillende algoritmes en klassifiseerders nodig is vir verskillende reekse om die prestasie van slaggat opspoorders te verbeter. Die finale uitslae van hierdie projek dui aan dat onder sekere omstandighede, is dit moontlik om slaggate op te spoor met 'n beskeie resultate.
Description
Thesis (MEng)--Stellenbosch University, 2016.
Keywords
UCTD, Roads -- Maintainance and repair -- Remote sensing, Potholes (Roads), Roads -- Detorioration -- Computer simulations, Road, maintainance -- Digital techniques, Roads -- Maintainance and repair -- Management -- Computer programs, Vision, Monocular, Computer vision