A neurocontrol paradigm for intelligent process control using evolutionary reinforcement learning
Date
2004-12
Authors
Conradie, Alex van Eck
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : University of Stellenbosch
Abstract
ENGLISH ABSTRACT: A Neurocontrol Paradigm for Intelligent Process Control using Evolutionary
Reinforcement Learning
Balancing multiple business and operational objectives within a comprehensive
control strategy is a complex configuration task. Non-linearities and complex multiple
process interactions combine as formidable cause-effect interrelationships. A clear
understanding of these relationships is often instrumental to meeting the process
control objectives. However, such control system configurations are generally
conceived in a qualitative manner and with pronounced reliance on past effective
configurations (Foss, 1973). Thirty years after Foss' critique, control system
configuration remains a largely heuristic affair.
Biological methods of processing information are fundamentally different from the
methods used in conventional control techniques. Biological neural mechanisms (i.e.,
intelligent systems) are based on partial models, largely devoid of the system's
underlying natural laws. Neural control strategies are carried out without a pure
mathematical formulation of the task or the environment. Rather, biological systems
rely on knowledge of cause-effect interactions, creating robust control strategies from
ill-defined dynamic systems.
Dynamic modelling may be either phenomenological or empirical. Phenomenological
models are derived from first principles and typically consist of algebraic and
differential equations. First principles modelling is both time consuming and
expensive. Vast data warehouses of historical plant data make empirical modelling
attractive. Singular spectrum analysis (SSA) is a rapid model development technique
for identifying dominant state variables from historical plant time series data. Since
time series data invariably covers a limited region of the state space, SSA models are
almost necessarily partial models.
Interpreting and learning causal relationships from dynamic models requires sufficient
feedback of the environment's state. Systemisation of the learning task is imperative.
Reinforcement learning is a computational approach to understanding and automating
goal-directed learning. This thesis aimed to establish a neurocontrol paradigm for
non-linear, high dimensional processes within an evolutionary reinforcement learning
(ERL) framework. Symbiotic memetic neuro-evolution (SMNE) is an ERL algorithm
developed for global tuning of neurocontroller weights. SMNE is comprised of a
symbiotic evolutionary algorithm and local particle swarm optimisation. Implicit
fitness sharing ensures a global search and the synergy between global and local
search speeds convergence.Several simulation studies have been undertaken, viz. a highly non-linear bioreactor, a
rigorous ball mill grinding circuit and the Tennessee Eastman control challenge.
Pseudo-empirical modelling of an industrial fed-batch fermentation shows the
application of SSA for developing partial models. Using SSA, state estimation is
forthcoming without resorting to fundamental models. A dynamic model of a multieffect
batch distillation (MEBAD) pilot plant was fashioned using SSA. Thereafter,
SMNE developed a neurocontroller for on-line implementation using the SSA model
of the MEBAD pilot plant.
Both simulated and experimental studies confirmed the robust performance of ERL
neurocontrollers. Coordinated flow sheet design, steady state optimisation and nonlinear
controller development encompass a comprehensive methodology. Effective
selection of controlled variables and pairing of process and manipulated variables
were implicit to the SMNE methodology. High economic performance was attained in
highly non-linear regions of the state space. SMNE imparted significant generalisation
in the face of process uncertainty. Nevertheless, changing process conditions may
necessitate neurocontroller adaptation. Adaptive neural swarming (ANS) allows for
adaptation to drifting process conditions and tracking of the economic optimum online.
Additionally, SMNE allows for control strategy design beyond single unit
operations. SMNE is equally applicable to processes with high dimensionality,
developing plant-wide control strategies. Many of the difficulties in conventional
plant-wide control may be circumvented in the biologically motivated approach of the
SMNE algorithm. Future work will focus on refinements to both SMNE and SSA.
SMNE and SSA thus offer a non-heuristic, quantitative approach that requires
minimal engineering judgement or knowledge, making the methodology free of
subjective design input. Evolutionary reinforcement learning offers significant
advantages for developing high performance control strategies for the chemical,
mineral and metallurgical industries. Symbiotic memetic neuro-evolution (SMNE),
adaptive neural swarming (ANS) and singular spectrum analysis (SSA) present a
response to Foss' critique.
AFRIKAANSE OPSOMMING: 'n Neurobeheer paradigma vir intelligente prosesbeheer deur die gebruik van evolusionêre versterkingsleer Dit is 'n komplekse ontwikkelingstaak om menigte besigheids- en operasionele doelwitte in 'n omvattende beheerstrategie te vereenselwig. Nie-lineêriteite en vele komplekse prosesinteraksies kombineer om ingewikkelde aksie-reaksie verwantskappe te vorm. Dit is dikwels noodsaaklik om hierdie interaksies omvattend te verstaan, voordat prosesbeheer doelwitte doeltreffend gedoen kan word. Tog word sulke beheerstelsels dikwels saamgestel op grond van kwalitatiewe kriteria en word ook dikwels staatgemaak op historiese benaderings wat voorheen effektief was (Foss, 1973). Dertig jaar na Foss se kritiek, bly prosesbeheerstelsel ontwerp 'n heuristiese saak. Die biologiese prosessering van informasie is fundamenteel verskillend van metodes wat gebruik word in konvensionele beheertegnieke. Biologiese neurale meganismes (d.w.s., intelligente stelsels) word gebaseer op gedeeltelike modelle, wat grotendeels verwyderd is van die onderskrywende natuurwette. Neurobeheerstrategieë word toegepas sonder suiwer wiskundige formulering van die taak of die omgewing. Biologiese stelsels maak eerder staat op kennis van aksie-reaksie verhoudings en skep robuuste beheerstrategieë van swak gedefineerde dinamiese stelsels. Dinamiese modelle is of fundamenteel of empiries. Fundamentele modelle word ontwikkel vanaf eerste beginsels en word tipies uit algebraïese en differensiële vergelykings saamgestel. Modellering vanaf eerste beginsels is beide tydrowend en duur. Groot databasisse van historiese aanlegdata maak empiriese modellering aantreklik. Singuliere spektrumanalise (SSA) maak die vinnige ontwerp van empiriese modelle moontlik, waardeur dominante veranderlikes vanaf historiese tydreekse onttrek kan word. Aangesien tydreeksdata slegs 'n gedeelte van die prosesomgewing verteenwoordig, is SSA modelle noodwendig gedeeltelike modelle. Die interpretasie en aanleer van kousale verhoudings vanaf dinamiese modelle vereis voldoende terugvoer van omgewingstoestande. Die leertaak moet sistematies uitgevoer word. Versterkingsleer is 'n ramingsbenadering tot 'n doelwit-gedrewe leerproses. Hierdie tesis bewerkstellig 'n neurobeheerparadigme vir nie-lineêre prosesse met hoë dimensies binne 'n evolusionêre versterkingsleer (EVL) raamwerk. Simbiotiese, memetiese neuro-evolusie (SMNE) is 'n EVL algoritme wat ontwikkel is vir globale verstelling van die gewigte van ‘n neurobeheerder. SMNE is saamgestel uit 'n simbiotiese evolusionêre algoritme en 'n lokale partikelswerm-algoritme. Implisiete fiksheidsdeling verseker 'n globale soektog en die sinergie tussen globale en lokale soektogte bespoedig konvergensie.Verskeie simulasie studies is onderneem, o.a. die van 'n hoogs nie-lineêre bioreaktor, 'n balmeulaanleg en die Tennessee Eastman beheer probleem. Empiriese modellering van 'n industriële enkelladingsfermentasie demonstreer die aanwending van SSA vir die ontwikkeling van gedeeltelike modelle. SSA benader die toestand van 'n dinamiese stelsel sonder die aanwending van fundamentele modellering. 'n Dinamiese model van 'n multi-effek-enkelladingsdistillasie (MEBAD) proefaanleg is bewerkstellig deur die gebruik van SSA. Daarna is SMNE gebruik om 'n neurobeheerder te skep vanaf die SSA model vir die beheer van die MEBAD proefaanleg. Beide simulasie en eksperimentele studies het die robuuste aanwending van EVL neurobeheerders bevestig. Die gekoördineerde ontwerp van vloeidiagramme, gestadigde toestand-optimering en nie-lineêre beheerderontwikkeling vereis 'n omvattende metodologie. Beheerveranderlikes en die koppeling van proses- en uitvoerveranderlikes is implisiet en effektief. Maksimale ekonomiese aanwins was moontlik in hoogs nie-lineêre dele van die toestandsruimte. SMNE het besondere veralgemening toegevoeg tot neurobeheerderstrategieë ten spyte van prosesonsekerhede. Nietemin, veranderende prosestoestande mag neurobeheerderaanpassing genoodsaak. Aanpasbare neurale swerm (ANS) algoritmes pas neurobeheerders aan tydens veranderende proseskondisies en volg die ekonomiese optimum, terwyl die beheerder die proses beheer. SMNE bewerkstellig ook die ontwikkeling van beheerstrategieë vir prosesse met meer as een eenheidsoperasie. SMNE skaal na prosesse met hoë dimensionaliteit vir die ontwikkeling van aanlegwye beheerstrategieë. Talle kwelvrae in konvensionele aanleg-wye prosesbeheer word deur die biologies gemotiveerde benadering van die SMNE algoritme uit die weg geruim. Toekomstige werk sal fokus op die verfyning van beide SMNE en SSA. SMNE en SSA bied 'n nie-heuristiese, kwantitatiewe benadering wat minimale ingenieurskennis of oordeel vereis. Die metodologie is dus vry van subjektiewe ontwerpsoordeel. Evolusionêre versterkingsleer bied talle voordele vir 'n ontwikkeling van effektiewe beheerstrategieë vir die chemiese, mineraal en metallurgiese industrieë. Simbiotiese memetiese neuro-evolusie (SMNE), aanpasbare neurale swerm metodes (ANS) en singulêre spektrum analise (SSA) gee antwoord op Foss se kritiek.
AFRIKAANSE OPSOMMING: 'n Neurobeheer paradigma vir intelligente prosesbeheer deur die gebruik van evolusionêre versterkingsleer Dit is 'n komplekse ontwikkelingstaak om menigte besigheids- en operasionele doelwitte in 'n omvattende beheerstrategie te vereenselwig. Nie-lineêriteite en vele komplekse prosesinteraksies kombineer om ingewikkelde aksie-reaksie verwantskappe te vorm. Dit is dikwels noodsaaklik om hierdie interaksies omvattend te verstaan, voordat prosesbeheer doelwitte doeltreffend gedoen kan word. Tog word sulke beheerstelsels dikwels saamgestel op grond van kwalitatiewe kriteria en word ook dikwels staatgemaak op historiese benaderings wat voorheen effektief was (Foss, 1973). Dertig jaar na Foss se kritiek, bly prosesbeheerstelsel ontwerp 'n heuristiese saak. Die biologiese prosessering van informasie is fundamenteel verskillend van metodes wat gebruik word in konvensionele beheertegnieke. Biologiese neurale meganismes (d.w.s., intelligente stelsels) word gebaseer op gedeeltelike modelle, wat grotendeels verwyderd is van die onderskrywende natuurwette. Neurobeheerstrategieë word toegepas sonder suiwer wiskundige formulering van die taak of die omgewing. Biologiese stelsels maak eerder staat op kennis van aksie-reaksie verhoudings en skep robuuste beheerstrategieë van swak gedefineerde dinamiese stelsels. Dinamiese modelle is of fundamenteel of empiries. Fundamentele modelle word ontwikkel vanaf eerste beginsels en word tipies uit algebraïese en differensiële vergelykings saamgestel. Modellering vanaf eerste beginsels is beide tydrowend en duur. Groot databasisse van historiese aanlegdata maak empiriese modellering aantreklik. Singuliere spektrumanalise (SSA) maak die vinnige ontwerp van empiriese modelle moontlik, waardeur dominante veranderlikes vanaf historiese tydreekse onttrek kan word. Aangesien tydreeksdata slegs 'n gedeelte van die prosesomgewing verteenwoordig, is SSA modelle noodwendig gedeeltelike modelle. Die interpretasie en aanleer van kousale verhoudings vanaf dinamiese modelle vereis voldoende terugvoer van omgewingstoestande. Die leertaak moet sistematies uitgevoer word. Versterkingsleer is 'n ramingsbenadering tot 'n doelwit-gedrewe leerproses. Hierdie tesis bewerkstellig 'n neurobeheerparadigme vir nie-lineêre prosesse met hoë dimensies binne 'n evolusionêre versterkingsleer (EVL) raamwerk. Simbiotiese, memetiese neuro-evolusie (SMNE) is 'n EVL algoritme wat ontwikkel is vir globale verstelling van die gewigte van ‘n neurobeheerder. SMNE is saamgestel uit 'n simbiotiese evolusionêre algoritme en 'n lokale partikelswerm-algoritme. Implisiete fiksheidsdeling verseker 'n globale soektog en die sinergie tussen globale en lokale soektogte bespoedig konvergensie.Verskeie simulasie studies is onderneem, o.a. die van 'n hoogs nie-lineêre bioreaktor, 'n balmeulaanleg en die Tennessee Eastman beheer probleem. Empiriese modellering van 'n industriële enkelladingsfermentasie demonstreer die aanwending van SSA vir die ontwikkeling van gedeeltelike modelle. SSA benader die toestand van 'n dinamiese stelsel sonder die aanwending van fundamentele modellering. 'n Dinamiese model van 'n multi-effek-enkelladingsdistillasie (MEBAD) proefaanleg is bewerkstellig deur die gebruik van SSA. Daarna is SMNE gebruik om 'n neurobeheerder te skep vanaf die SSA model vir die beheer van die MEBAD proefaanleg. Beide simulasie en eksperimentele studies het die robuuste aanwending van EVL neurobeheerders bevestig. Die gekoördineerde ontwerp van vloeidiagramme, gestadigde toestand-optimering en nie-lineêre beheerderontwikkeling vereis 'n omvattende metodologie. Beheerveranderlikes en die koppeling van proses- en uitvoerveranderlikes is implisiet en effektief. Maksimale ekonomiese aanwins was moontlik in hoogs nie-lineêre dele van die toestandsruimte. SMNE het besondere veralgemening toegevoeg tot neurobeheerderstrategieë ten spyte van prosesonsekerhede. Nietemin, veranderende prosestoestande mag neurobeheerderaanpassing genoodsaak. Aanpasbare neurale swerm (ANS) algoritmes pas neurobeheerders aan tydens veranderende proseskondisies en volg die ekonomiese optimum, terwyl die beheerder die proses beheer. SMNE bewerkstellig ook die ontwikkeling van beheerstrategieë vir prosesse met meer as een eenheidsoperasie. SMNE skaal na prosesse met hoë dimensionaliteit vir die ontwikkeling van aanlegwye beheerstrategieë. Talle kwelvrae in konvensionele aanleg-wye prosesbeheer word deur die biologies gemotiveerde benadering van die SMNE algoritme uit die weg geruim. Toekomstige werk sal fokus op die verfyning van beide SMNE en SSA. SMNE en SSA bied 'n nie-heuristiese, kwantitatiewe benadering wat minimale ingenieurskennis of oordeel vereis. Die metodologie is dus vry van subjektiewe ontwerpsoordeel. Evolusionêre versterkingsleer bied talle voordele vir 'n ontwikkeling van effektiewe beheerstrategieë vir die chemiese, mineraal en metallurgiese industrieë. Simbiotiese memetiese neuro-evolusie (SMNE), aanpasbare neurale swerm metodes (ANS) en singulêre spektrum analise (SSA) gee antwoord op Foss se kritiek.
Description
Thesis (PhD)--University of Stellenbosch, 2004.
271 Leaves printed single pages, preliminary pages i-xviii and 253 numberd pages. Includes bibliography. List of figures, List of tables.
271 Leaves printed single pages, preliminary pages i-xviii and 253 numberd pages. Includes bibliography. List of figures, List of tables.
Keywords
Biotechnological process control, Intelligent control systems, Theses -- Chemical engineering, Dissertations -- Chemical engineering, Theses -- Process engineering, Dissertations -- Process engineering