Adaptive digital image correlation using neural networks
Date
2023-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY: Subset size selection is crucial to the accuracy and precision of digital image correlation (DIC) measured displacements. Increasing the subset size improves noise suppression (reducing random errors) at the cost of spatial resolution (ability to accurately measure complex displacement fields). The tradition of global correlation parameter assignment is suboptimal because the speckle pattern quality and displacement field complexity can vary spatially. Dynamic subset selection (DSS), which assigns location specific optimal subset sizes, is challenging because the metrological performance of correlation is dictated by complex interactions between correlation parameters (subset size and shape function) and image set properties (noise, speckle pattern and displacement field complexity). This dissertation uses an open-source DIC framework to investigate the potential of artificial neural networks (ANNs) for error prediction and DSS, prior to the DIC process, from purely image information. ANNs are capable of modelling complex relationships within noisy, incomplete data without imposing fixed relationships, inspiring their recent resurgence for DIC applications. Despite the plethora of open-source DIC algorithms available, none offer spatially and temporally independent assignment of correlation parameters. Subsequently, a modular, open-source DIC framework capable of such flexibility is developed. This framework is predominantly consistent with current state-of-the-art practices and performs on par with well-established open-source and commercial DIC algorithms. Drawing direct links between the well-documented theory of DIC and its nuanced practical implementation, bridges this gap in literature which has acted as a barrier to newcomers intending to develop the capabilities of DIC. This framework, implemented in 117 and 202 lines of MATLAB code for 2D and stereo DIC, respectively, is attractive as a starting point to further the capabilities of DIC. The feed-forward ANN developed using this DIC framework, predicts random errors based on the speckle pattern quality (contained within a subset) and standard deviation of image noise more accurately and precisely than established theoretical derivations. A DSS framework is developed which uses this ANN to appoint subset sizes, based on the local speckle pattern, that offer random errors consistent with a stipulated threshold value. Appropriate selection of the random error threshold offers a favourable compromise between noise suppression and spatial resolution for up to moderate displacement gradients. Consequently, in the presence of varying speckle pattern quality this framework outperforms the traditional approach of trialand- error global subset size selection for the same mean subset size. Speckle pattern characteristics outside the training scope reveal the generalisability limitations of the DSS method, and associated ANN, as it performs on par with the traditional global subset size approach, motivating the need to broaden its training scope. Investigation of convolutional neural networks for dynamic shape function selection is initiated, showing they are capable of quantifying displacement field complexity between image pairs to guide spatially and temporally independent shape function assignment. The dissertation reveals that ANNs are an attractive approach to model the correlation parameter assignment. Furthermore, such models facilitate dynamic correlation parameter assignment from purely image information such that they can operate as a pre-process to DIC.
AFRIKAANSE OPSOMMING: Seleksie van subsetgrootte is deurslaggewend vir die akkuraatheid en presiesheid van digitale beeld korrelasie (DBK) gemete verplasings. Die verhoging van die subsetgrootte verbeter geraas vermindering (verminder ewekansige foute) ten koste van ruimtelike resolusie (vermoë om komplekse verplasingsvelde akkuraat te meet). Die tradisie van globale korrelasieparametertoewysing is suboptimaal omdat die spikkelpatroonkwaliteit en verplasingsveldkompleksiteit ruimtelik kan varieer. Dinamiese subset-seleksie (DSS), wat liggingspesifieke optimale subsetgroottes toeken, is uitdagend omdat die metrologiese prestasie van korrelasie bepaal deur komplekse interaksies tussen korrelasieparameters (subsetgrootte en vormfunksie) en beeldstel eienskappe (geraas, spikkelpatroon en verplasingsveld kompleksiteit). Hierdie proefskrif gebruik ’n oopbron-DIC-raamwerk om die potensiaal van kunsmatige neurale netwerke (KNN’e) vir foutvoorspelling en DSS, voor die DBK-proses, uit slegs beeldinligting te ondersoek. KNN’e is in staat om komplekse verhoudings binne raserige, onvolledige data te modelleer sonder om vaste verhoudings af te dwing, wat die onlangse herlewing van die gebruik van KNN’s vir DBK-toepassings inspireer. Ten spyte van die oorvloed van oopbron DBK-algoritmes wat beskikbaar is, bied nie een ruimtelike en tydelike onafhanklike toewysing van korrelasieparameters nie. Vervolgens word ’n modulere, oopbron DBK-raamwerk ontwikkel wat in staat is tot sulke buigsaamheid. Hierdie raamwerk stem oorwegend ooreen met huidige modern praktyke en presteer op gelyke voet met goed gevestigde oopbron- en kommersiele DBK-algoritmes. Deur direkte verbande te trek tussen die goed gedokumenteerde teorie van DBK en die genuanseerde praktiese implementering daarvan, word hierdie gaping in literatuur, wat as ’n hindernis opgetree het vir nuwelinge wat van plan is om die vermoens van DBK te ontwikkel, oorbrug. Hierdie raamwerk, geimplementeer in 117 en 202 reels MATLAB-kode vir onderskeidelik 2D en stereo DBK, is aantreklik as ’n beginpunt om die vermoens van DBK te bevorder. Die vooruitvoer KNN wat met hierdie DBK-raamwerk ontwikkel is, voorspel ewekansige foute gebaseer op die spikkelpatroonkwaliteit (vervat in ’n subset) en standaardafwyking van beeldgeraas meer akkuraat en presies as gevestigde teoretiese afleidings. ’n DSS-raamwerk word ontwikkel wat hierdie KNN gebruik om subsetgroottes aan te stel, gebaseer op die plaaslike spikkelpatroon, wat ewekansige foute bied wat ooreenstem met ’n gestipuleerde drempelwaarde. Toepaslike keuse van die ewekansige foutdrempel bied ’n gunstige kompromie tussen ruisonderdrukking en ruimtelike resolusie tot en met ‘n matige verplasingsgradiente. Gevolglik, in die teenwoordigheid van wisselende spikkelpatroonkwaliteit, presteer hierdie raamwerk beter as die tradisionele benadering van proef-en-fout globale subsetgrootteseleksie vir dieselfde gemiddelde subsetgrootte. Spikkelpatroonkenmerke buite die opleidingsomvang openbaar die veralgemeenbaarheidsbeperkings van die DSS-metode, en geassosieerde KNN, aangesien dit op gelyke voet met die tradisionele globale subsetgrootte-benadering presteer, wat die behoefte motiveer om sy opleidingsomvang te verbreed. Ondersoek van konvolusionele neurale netwerke vir dinamiese vormfunksiese leksie word geinisieer, wat toon dat hulle in staat is om verplasingsveldkompleksiteit tussen beeldpare te kwantifiseer om ruimtelike en tydelike onafhanklike vormfunksietoewysing te lei. Die proefskrif onthul dat KNN’e ’n aantreklike benadering is om die metrologiese kenmerke van die korrelasieproses te modelleer vir die doel van dinamiese korrelasieparametertoewysing. Verder fasiliteer sulke modelle dinamiese korrelasieparametertoewysing vanaf suiwer beeldinligting sodat hulle as ’n voorproses tot DBK kan funksioneer.
AFRIKAANSE OPSOMMING: Seleksie van subsetgrootte is deurslaggewend vir die akkuraatheid en presiesheid van digitale beeld korrelasie (DBK) gemete verplasings. Die verhoging van die subsetgrootte verbeter geraas vermindering (verminder ewekansige foute) ten koste van ruimtelike resolusie (vermoë om komplekse verplasingsvelde akkuraat te meet). Die tradisie van globale korrelasieparametertoewysing is suboptimaal omdat die spikkelpatroonkwaliteit en verplasingsveldkompleksiteit ruimtelik kan varieer. Dinamiese subset-seleksie (DSS), wat liggingspesifieke optimale subsetgroottes toeken, is uitdagend omdat die metrologiese prestasie van korrelasie bepaal deur komplekse interaksies tussen korrelasieparameters (subsetgrootte en vormfunksie) en beeldstel eienskappe (geraas, spikkelpatroon en verplasingsveld kompleksiteit). Hierdie proefskrif gebruik ’n oopbron-DIC-raamwerk om die potensiaal van kunsmatige neurale netwerke (KNN’e) vir foutvoorspelling en DSS, voor die DBK-proses, uit slegs beeldinligting te ondersoek. KNN’e is in staat om komplekse verhoudings binne raserige, onvolledige data te modelleer sonder om vaste verhoudings af te dwing, wat die onlangse herlewing van die gebruik van KNN’s vir DBK-toepassings inspireer. Ten spyte van die oorvloed van oopbron DBK-algoritmes wat beskikbaar is, bied nie een ruimtelike en tydelike onafhanklike toewysing van korrelasieparameters nie. Vervolgens word ’n modulere, oopbron DBK-raamwerk ontwikkel wat in staat is tot sulke buigsaamheid. Hierdie raamwerk stem oorwegend ooreen met huidige modern praktyke en presteer op gelyke voet met goed gevestigde oopbron- en kommersiele DBK-algoritmes. Deur direkte verbande te trek tussen die goed gedokumenteerde teorie van DBK en die genuanseerde praktiese implementering daarvan, word hierdie gaping in literatuur, wat as ’n hindernis opgetree het vir nuwelinge wat van plan is om die vermoens van DBK te ontwikkel, oorbrug. Hierdie raamwerk, geimplementeer in 117 en 202 reels MATLAB-kode vir onderskeidelik 2D en stereo DBK, is aantreklik as ’n beginpunt om die vermoens van DBK te bevorder. Die vooruitvoer KNN wat met hierdie DBK-raamwerk ontwikkel is, voorspel ewekansige foute gebaseer op die spikkelpatroonkwaliteit (vervat in ’n subset) en standaardafwyking van beeldgeraas meer akkuraat en presies as gevestigde teoretiese afleidings. ’n DSS-raamwerk word ontwikkel wat hierdie KNN gebruik om subsetgroottes aan te stel, gebaseer op die plaaslike spikkelpatroon, wat ewekansige foute bied wat ooreenstem met ’n gestipuleerde drempelwaarde. Toepaslike keuse van die ewekansige foutdrempel bied ’n gunstige kompromie tussen ruisonderdrukking en ruimtelike resolusie tot en met ‘n matige verplasingsgradiente. Gevolglik, in die teenwoordigheid van wisselende spikkelpatroonkwaliteit, presteer hierdie raamwerk beter as die tradisionele benadering van proef-en-fout globale subsetgrootteseleksie vir dieselfde gemiddelde subsetgrootte. Spikkelpatroonkenmerke buite die opleidingsomvang openbaar die veralgemeenbaarheidsbeperkings van die DSS-metode, en geassosieerde KNN, aangesien dit op gelyke voet met die tradisionele globale subsetgrootte-benadering presteer, wat die behoefte motiveer om sy opleidingsomvang te verbreed. Ondersoek van konvolusionele neurale netwerke vir dinamiese vormfunksiese leksie word geinisieer, wat toon dat hulle in staat is om verplasingsveldkompleksiteit tussen beeldpare te kwantifiseer om ruimtelike en tydelike onafhanklike vormfunksietoewysing te lei. Die proefskrif onthul dat KNN’e ’n aantreklike benadering is om die metrologiese kenmerke van die korrelasieproses te modelleer vir die doel van dinamiese korrelasieparametertoewysing. Verder fasiliteer sulke modelle dinamiese korrelasieparametertoewysing vanaf suiwer beeldinligting sodat hulle as ’n voorproses tot DBK kan funksioneer.
Description
Thesis (PhD)--Stellenbosch University, 2023.