Development of a system to identify unmarked objects based on 3D-Object recognition and multi-sensor information
Date
2021-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Automatic identification (Auto-ID) technology serves as an interface between the real physical world and the virtual world of information by synchronising the physical flow of material with the virtual flow of information. Through this characteristic, Auto-ID technologies represent the core component for the implementation of the Internet of Things (IoT) in the context of Digitalisation and Industry 4.0. The Auto-ID technologies established over the years are almost exclusively based on the use of artificial identifiers for the purpose of identification, with barcodes and radio-frequency identification transponders being the most commonly used ones. In fact, the use of artificial identifiers causes additional effort, additional costs and is not even always applicable. By using the natural features of objects as identifiers, such drawbacks are avoided. Combining methods of 3D-Object recognition from the field of machine vision (MV) with further multi-sensor information and the data master from product data management, this thesis develops a novel multi-sensor Auto-ID system for the direct identification of unpackaged piece goods. Based on in-depth literature research, requirements for such a system are defined and transformed into a concept using engineering design methods. Subsequently, a first mechatronic prototype of the multi-sensor Auto-ID system is constructed and implemented, which includes both hardware and software development. The verification and functional test of the implemented system is then carried out by checking the prototype against the established requirements and by conducting a practical experiment.
The results, based on the practically implemented prototype, show that reliable automatic identification of unmarked and unpackaged piece goods can be accomplished using multi-sensor information. This Auto-ID system prototype requires no artificial identifiers for the purpose of identification thus avoiding additional efforts, additional costs and issues with application.Furthermore, the use of multi-sensor information improves identification in terms of distinctiveness and accuracy, compared to purely optical instance-level 3D-Object recognition. This research contributes mainly to the existing scholarship in the field of Auto-ID technology. In particular, theoretical and practical contributions are made to the hitherto little-studied field of direct identification based on natural object features.
AFRIKAANSE OPSOMMING: Outomatiese identifikasie (Outo-ID) tegnologie dien as ‘n koppelvlak tussen die werklike fisiese wêreld en die virtuele wêreld van informasie deur die fisiese vloei van materiaal met die virtuele vloei van informasie te sinkroniseer. Deur hierdie eienskap verteenwoordig Outo-ID-tegnologie die kernkomponent vir die implementering van die “Internet van Dinge” (IoT) in die konteks van Digitalisering en Industrie 4.0. Die Outo-ID-tegnologieë wat deur die jare heen gevestig is, is byna uitsluitlik gebaseer op die gebruik van kunsmatige identifiseerders vir identifikasie, waar strepieskodes en radiofrekwensie-identifikasie transponders die algemeenste gebruik word. Trouens, die gebruik van kunsmatige identifiseerders het verskeie nadele wat insluit addisionele moeite sowel as addisionele onkostes. Die tipe indentifiseerders is, in realiteit, ook nie eens altyd van toepassing nie. Deur die natuurlike kenmerke van voorwerpe as identifiseerders te gebruik, is sulke nadele vermy. Deur 3D-objek herkenning vanuit die veld van masjienvisie (MV) met verdere veelvoudige-sensor-inligting en die data-meester uit produkdata-bestuur te kombineer, kan daar ‘n nuwe veelvoudige-sensor Outo-ID-stelsel vir die direkte identifikasie van onverpakte goedere ontwikkel word. Op grond van in-diepte teoretiese navorsing word die vereistes vir so ‘n stelsel gedefinieer en omgeskep in ‘n konsep met behulp van ingenieursontwerpmetodes. Vervolgens word ‘n eerste megatroniese prototipe van die veelvoudige-sensor Outo-ID-stelsel gebou en geïmplementeer, wat die ontwikkeling van beide harde- en sagteware insluit. Die verifikasie en funksionele toets van die geïmplementeerde stelsel word dan uitgevoer deur die prototipe te toets teen die vasgestelde vereistes. Daarna word dit verder getoets deur ‘n praktiese eksperiment uit te voer. Die resultate, gebaseer op die prakties geïmplementeerde prototipe, toon dat betroubare outomatiese identifikasie van ongemerkte en onverpakte goedere moontlik is met behulp van veelvoudigei-sensor inligting. Hierdie prototipe van die Outo-ID-stelsel vereis geen kunsmatige identifiseerders vir die identifikasie proses nie, dus vermy dit addisionele arbeid, addisionele koste en probleme met toepassing. In vergelyking met die suiwer optiese 3D-voorwerpherkenning metode bied die gebruik van veelvoudige-sensor-inligting verbeterde identifikasie in terme van onderskeidbaarheid sowel as akkuraatheid. Hierdie navorsing dra hoofsaaklik by tot bestaande studie in die veld van Outo-ID-tegnologie. Teoretiese en praktiese bydraes word spesifiek gelewer tot die relatiewe onbekende areas van direkte identifikasie op grond van natuurlike objek kenmerke.
AFRIKAANSE OPSOMMING: Outomatiese identifikasie (Outo-ID) tegnologie dien as ‘n koppelvlak tussen die werklike fisiese wêreld en die virtuele wêreld van informasie deur die fisiese vloei van materiaal met die virtuele vloei van informasie te sinkroniseer. Deur hierdie eienskap verteenwoordig Outo-ID-tegnologie die kernkomponent vir die implementering van die “Internet van Dinge” (IoT) in die konteks van Digitalisering en Industrie 4.0. Die Outo-ID-tegnologieë wat deur die jare heen gevestig is, is byna uitsluitlik gebaseer op die gebruik van kunsmatige identifiseerders vir identifikasie, waar strepieskodes en radiofrekwensie-identifikasie transponders die algemeenste gebruik word. Trouens, die gebruik van kunsmatige identifiseerders het verskeie nadele wat insluit addisionele moeite sowel as addisionele onkostes. Die tipe indentifiseerders is, in realiteit, ook nie eens altyd van toepassing nie. Deur die natuurlike kenmerke van voorwerpe as identifiseerders te gebruik, is sulke nadele vermy. Deur 3D-objek herkenning vanuit die veld van masjienvisie (MV) met verdere veelvoudige-sensor-inligting en die data-meester uit produkdata-bestuur te kombineer, kan daar ‘n nuwe veelvoudige-sensor Outo-ID-stelsel vir die direkte identifikasie van onverpakte goedere ontwikkel word. Op grond van in-diepte teoretiese navorsing word die vereistes vir so ‘n stelsel gedefinieer en omgeskep in ‘n konsep met behulp van ingenieursontwerpmetodes. Vervolgens word ‘n eerste megatroniese prototipe van die veelvoudige-sensor Outo-ID-stelsel gebou en geïmplementeer, wat die ontwikkeling van beide harde- en sagteware insluit. Die verifikasie en funksionele toets van die geïmplementeerde stelsel word dan uitgevoer deur die prototipe te toets teen die vasgestelde vereistes. Daarna word dit verder getoets deur ‘n praktiese eksperiment uit te voer. Die resultate, gebaseer op die prakties geïmplementeerde prototipe, toon dat betroubare outomatiese identifikasie van ongemerkte en onverpakte goedere moontlik is met behulp van veelvoudigei-sensor inligting. Hierdie prototipe van die Outo-ID-stelsel vereis geen kunsmatige identifiseerders vir die identifikasie proses nie, dus vermy dit addisionele arbeid, addisionele koste en probleme met toepassing. In vergelyking met die suiwer optiese 3D-voorwerpherkenning metode bied die gebruik van veelvoudige-sensor-inligting verbeterde identifikasie in terme van onderskeidbaarheid sowel as akkuraatheid. Hierdie navorsing dra hoofsaaklik by tot bestaande studie in die veld van Outo-ID-tegnologie. Teoretiese en praktiese bydraes word spesifiek gelewer tot die relatiewe onbekende areas van direkte identifikasie op grond van natuurlike objek kenmerke.
Description
Thesis (MEng)--Stellenbosch University, 2021.
Keywords
Three-dimensional imaging, Automatic identification, Direct identification, Industry 4.0, Machine vision, Multi-sensor information, Internet of things