Bayesian parameter estimation for process monitoring
Date
2020-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University.
Abstract
ENGLISH ABSTRACT: The underlying mechanism of many physical systems studied in engineering can be described by algebraic, ordinary differential and auxiliary equations. While these equations stem from engineering expertise, the principles underpinning the model development phase do not always provide sufficient insight into selecting suitable values for all the model parameters. Furthermore, it might not be possible to directly measure all the model parameters (which can be related to several physicochemical system properties) from the system under consideration due to physical, economic and time constraints. As a result, the engineer often has to estimate the model parameters from noise-corrupted, time series data obtained from the physical system, while simultaneously quantifying how reliable these parameter estimates are.
The purpose of the current study is to investigate model parameter estimation, from both the frequentist and Bayesian statistical inference perspectives, and to evaluate the merit of applying Bayesian probabilistic techniques in the chemical engineering setting. Two Bayesian parameter estimation methodologies were developed. The first methodology applies to estimating the parameters of lumped system algebraic dynamic models, while the second methodology is focused on lumped system ordinary differential equation model parameter estimation. Both proposed Bayesian methodologies were benchmarked against the Gauss-Newton nonlinear least squares implementation for which the resulting estimated model parameters have a (frequentist) maximum likelihood interpretation. The results obtained from the proposed Bayesian methodologies were compared to the benchmark approach results based on several performance criteria for a single data set manifestation as well as for multiple independently generated data sets. It was found that the proposed Bayesian methodologies, as well as the benchmark approaches, provide consistent parameter estimation results when compared to the simulation ground truth parameter values, across the multiple independent data sets.
Based on the parameter inference results obtained from the different case studies considered in the current work, it was determined that, from a pragmatic engineering perspective, there is no reason to favour the use of the proposed Bayesian methodologies over the frequentist benchmark approaches and vice versa as both approaches provide comparable results. However, the benefit of the Bayesian approach (which explicitly expresses the model parameter uncertainty) was illustrated by considering a simple cost-benefit analysis for several of the case studies where it was possible to make more informed engineering decisions under uncertainty compared to the traditional frequentist benchmark approach.
In conclusion, even though there is no noteworthy difference between the parameter inference results obtained from the benchmark and proposed Bayesian approaches, the value of the Bayesian approach shows up when one considers the subsequent application of the inferred parameters in day-to-day engineering tasks. Consequently, it is worth further exploring the benefit of applying probabilistic techniques and explicitly modeling with uncertainty, i.e. Bayesian statistical inference, in chemical engineering applications.
AFRIKAANSE OPSOMMING: Die onderliggende meganisme van baie fisiese stelsels bestudeer in ingenieurswese kan beskryf word deur algebraïese, gewone differensiaal- en hulpvergelykings. Terwyl hierdie vergelykings uit ingenieurkundigheid stam, gee die beginsels wat die model ontwikkelingsfase ondersteun, nie altyd genoeg insig om gepaste waardes vir al die modelparameters te kies nie. Verder mag dit dalk nie moontlik wees om al die modelparameters (wat verband kan hou met verskeie fisikochemiese stelseleienskappe) direk uit die stelsel onder oorweging te meet nie, as gevolg van fisiese, ekonomiese en tydbeperkings. As ’n resultaat moet die ingenieur dikwels die modelparameters uit geraas korrupte, tydreeks data verkry uit die fisiese stelsel, terwyl gelyktydig gekwantifiseer moet word hoe betroubaar hierdie parameter beraminge is. Die doel van die huidige studie is om modelparameterberaming te ondersoek, uit beide die frekwentis en Bayesiaanse statistiese inferensie perspektiewe, en om die meriete van die toepassing van Bayesiaanse waarskynlikheidstegnieke in die chemiese ingenieursomgewing te evalueer. Twee Bayesiaanse parameterberamingmetodologieë is ontwikkel. Die eerste metodologie is van toepassing op die beraming van die parameters van saamgehoopte stelsel algebraïese dinamiese modelle, terwyl die tweede metodologie gefokus is op saamgehoopte stelsel ordinêre differensiaal vergelyking model parameterberaming. Beide voorgestelde Bayesiaanse metodologieë is genormeer teen die Gauss-Newton nie-liniêre kleinste kwadrate implementasie waarvoor die resulterende beraming modelparameters ’n (frekwentis) maksimum aanneemlikheid interpretasie het. Die resultate verkry uit die voorgestelde Bayesiaanse metodologieë is vergelyk met die normbenaderingresultate op verskeie doeltreffendheidskriteria vir ’n enkel datastel manifestasie sowel as vir veelvoudige onafhanklik gegenereerde datastelle. Dis gevind dat die voorgestelde Bayesiaanse metodologieë, sowel as die normbenaderings, konsekwente parameterbenaderingresultate lewer as vergelyk word met die simulasie grondkontroleparameterwaardes, regoor die veelvoudige onafhanklike datastelle. Gebaseer op die parameter inferensieresultate verkry uit die verskillende gevallestudies beskou in die huidige werk, is dit bepaal dat, vanuit ’n pragmatiese ingenieursperspektief, daar geen rede is om die gebruik van die voorgestelde Bayesiaanse metodologieë oor die frekwentis normbenaderings en vice versa te gebruik nie, omdat beide benaderings vergelykbare resultate lewer. Die voordeel van die Bayesiaanse benadering (wat duidelik die modelparameter onsekerheid uitdruk) is geïllustreer deur ’n eenvoudige koste-voordeelanalise vir verskeie van die gevallestudies te beskou waar dit moontlik was om meer ingeligte ingenieursbesluite onder onsekerheid te maak, in vergelyking met die tradisionele frekwentis normbenadering. Ten slotte, selfs al is daar nie merkwaardige verskille tussen die parameter inferensie resultate verkry uit die norm- en voorgestelde Bayesiaanse benaderings nie, kom die waarde van die Bayesiaanse benadering na vore as mens die daaropvolgende toepassing van die afgeleide parameters in dag-tot-dag ingenieurstake in ag neem. Gevolglik is dit die moeite werd om die voordeel van die toepassing van waarskynlikheidstegnieke en uitdruklike modellering met onsekerheid, i.e. Bayesiaanse statistiese inferensie, in chemiese ingenieurswese toepassings, verder te ondersoek.
AFRIKAANSE OPSOMMING: Die onderliggende meganisme van baie fisiese stelsels bestudeer in ingenieurswese kan beskryf word deur algebraïese, gewone differensiaal- en hulpvergelykings. Terwyl hierdie vergelykings uit ingenieurkundigheid stam, gee die beginsels wat die model ontwikkelingsfase ondersteun, nie altyd genoeg insig om gepaste waardes vir al die modelparameters te kies nie. Verder mag dit dalk nie moontlik wees om al die modelparameters (wat verband kan hou met verskeie fisikochemiese stelseleienskappe) direk uit die stelsel onder oorweging te meet nie, as gevolg van fisiese, ekonomiese en tydbeperkings. As ’n resultaat moet die ingenieur dikwels die modelparameters uit geraas korrupte, tydreeks data verkry uit die fisiese stelsel, terwyl gelyktydig gekwantifiseer moet word hoe betroubaar hierdie parameter beraminge is. Die doel van die huidige studie is om modelparameterberaming te ondersoek, uit beide die frekwentis en Bayesiaanse statistiese inferensie perspektiewe, en om die meriete van die toepassing van Bayesiaanse waarskynlikheidstegnieke in die chemiese ingenieursomgewing te evalueer. Twee Bayesiaanse parameterberamingmetodologieë is ontwikkel. Die eerste metodologie is van toepassing op die beraming van die parameters van saamgehoopte stelsel algebraïese dinamiese modelle, terwyl die tweede metodologie gefokus is op saamgehoopte stelsel ordinêre differensiaal vergelyking model parameterberaming. Beide voorgestelde Bayesiaanse metodologieë is genormeer teen die Gauss-Newton nie-liniêre kleinste kwadrate implementasie waarvoor die resulterende beraming modelparameters ’n (frekwentis) maksimum aanneemlikheid interpretasie het. Die resultate verkry uit die voorgestelde Bayesiaanse metodologieë is vergelyk met die normbenaderingresultate op verskeie doeltreffendheidskriteria vir ’n enkel datastel manifestasie sowel as vir veelvoudige onafhanklik gegenereerde datastelle. Dis gevind dat die voorgestelde Bayesiaanse metodologieë, sowel as die normbenaderings, konsekwente parameterbenaderingresultate lewer as vergelyk word met die simulasie grondkontroleparameterwaardes, regoor die veelvoudige onafhanklike datastelle. Gebaseer op die parameter inferensieresultate verkry uit die verskillende gevallestudies beskou in die huidige werk, is dit bepaal dat, vanuit ’n pragmatiese ingenieursperspektief, daar geen rede is om die gebruik van die voorgestelde Bayesiaanse metodologieë oor die frekwentis normbenaderings en vice versa te gebruik nie, omdat beide benaderings vergelykbare resultate lewer. Die voordeel van die Bayesiaanse benadering (wat duidelik die modelparameter onsekerheid uitdruk) is geïllustreer deur ’n eenvoudige koste-voordeelanalise vir verskeie van die gevallestudies te beskou waar dit moontlik was om meer ingeligte ingenieursbesluite onder onsekerheid te maak, in vergelyking met die tradisionele frekwentis normbenadering. Ten slotte, selfs al is daar nie merkwaardige verskille tussen die parameter inferensie resultate verkry uit die norm- en voorgestelde Bayesiaanse benaderings nie, kom die waarde van die Bayesiaanse benadering na vore as mens die daaropvolgende toepassing van die afgeleide parameters in dag-tot-dag ingenieurstake in ag neem. Gevolglik is dit die moeite werd om die voordeel van die toepassing van waarskynlikheidstegnieke en uitdruklike modellering met onsekerheid, i.e. Bayesiaanse statistiese inferensie, in chemiese ingenieurswese toepassings, verder te ondersoek.
Description
Thesis (MEng)--Stellenbosch University, 2020.
Keywords
Process monitoring, Bayesian statistical decision theory, Statistical decision, Parameter estimation, Process control -- Statistical methods, Frequentist inference, Gaussian processes, UCTD