Induction of fuzzy rules from chemical process data using Growing Neural Gas and Reactive Tabu search methods
Date
1999-10
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The artificial intelligence community has developed a large body of algorithms that can be
employed as powerful data analysis tools. However, such tools are not readily used in
petrochemical plant operational decision support. This is primarily because the models generated
by such tools are either too inaccurate or too difficult to understand if of acceptable accuracy.
The Combinatorial Rule Assembler (CORA) algorithm is proposed to address these problems.
The algorithm uses membership functions made by the Growing Neural Gas (GNG) radial basis
function network training technique to assemble internally disjunctive, Oth -order Sugeno fuzzy
rules using the nongreedy Reactive Tabu Search (RTS) combinatorial search method.
An evaluation of the influence of CORA training parameters revealed the following. First, for
certain problems CORA models have an attribute space overlap that is one third of their GNG-generated
counterparts. Second, the use of more fuzzy rules generally leads to better model
accuracy. Third, decreased swap (or move) thresholds do not consistently lead to more accurate
and / or simpler models. Fourth, utilisation of moves rather than swaps during rule antecedent
assembly leads to better rule simplification. Fifth, consequent magnitude penalisation generally
improves accuracy, especially if many rules are built. Variance of results is also usually reduced.
Sixth, employing Yu rather than Zadeh operators leads to improved accuracy. Seventh, use of the
GNG adjacency matrix significantly reduces the combinatorial complexity of rule construction.
Eighth, AlC and BIC criteria used find the "right-sized" model exhibited local optima. Last, the
CORA algorithm struggles to model problems that have a low exemplar to attribute ratio.
On a chaotic time series problem the CORA algorithm builds models that are significantly (with
at least 95% confidence) more accurate than those generated using multiple linear regression
(MLR), CART regression trees and multivariate adaptive regression splines (MARS). However,
only the RTS component models are significantly more accurate than those of the GNG and k-means
(RBF) radial basis function network methods. In terms of complexity, the CORA models
were significantly simpler than the CART and RBF models but more complex than the MLR,
MARS and multilayer perceptron models that were evaluated. Taking all results for this problem
into account, it is the author's opinion that the drop in accuracy (at worst 0.42%) of the CORA
models, because of membership function merging and rule reduction, is justified by the increase
in model simplicity (at least 22%). In addition, these results show that relatively intelligible
"if. .. then ... " fuzzy rule models can be built from chemical process data that are competitive (in
terms of accuracy) with other, less intelligible, model types (e.g. multivariate spline models).
AFRIKAANSE OPSOMMING: 'n Groot aantal algoritmes wat as kragtige data-analiseerders gebruik kan word, is tot op he de ontwikkel, veral deur navorsers op die gebied van skynintelligensie, waar 'n hoe premie geplaas word op die beskikbaarheid van doeltreffende soekmetodes. Die algoritmes word egter nie geredelik vir operasionele besluitnemingsondersteuning in petrochemiese aanlegte gebruik nie, omrede die modelle wat op sodanige wyse gegenereer is, of te onakkuraat, of indien akkuraat genoeg, te moeilik is om te verstaan. Die Combinatorial Rule Assembler (CORA) algoritme word in hierdie werk voorgehou as moontlike oplossing vir hierdie probleme. Die algoritme gebruik lidmaatskap-funksies wat m.b.v. 'n Groeiende Neurale Gas (GNG) algoritme opgestel is, om intern disjunktiewe, Ode orde Sugeno wasige logikareels saam te stel deur gebruik te maak van 'n nie-gulsige kombinatoriese Reaktiewe Tabu Soektog (RTS) soek. Die invloed van CORA leerparameters is ondersoek en daar is eerstens gevind dat CORA modelle vir sommige probleme intreeruimte-oorvleuelings oplewer wat gelykstaande is aan sowat 'n derde van die van GNG gegenereerde modelle. Tweedens, die gebruik van 'n groter aantal wasige reels lei tot beter modusakkuraatheid. Derdens, verlaagde omruilperke lei nie altyd tot akkurater of eenvoudiger modelle nie. Vierdens, die gebruik van verplasings in plaas van omruilings tydens die samestelling van reels lei tot beter reelvereenvoudiging. Vyfdens, ordegrootte-penalisering van die konsekwente van reels dra oor die algemeen by tot beter akkuraatheid, veral wanneer baie reels afgelei is. Die variansie van die resultate is ook verminder. Sesdens, die implementering van Yu-, eerder as Zadeh-operators lei tot beter akkuraatheid. In die sewende plek, die gebruik van die GNG aangrensende matriks lei tot merkbaar laer kombinatoriese kompleksiteit in die aflei van wasige reels. In die agste plek , die AlC en BIC kriteria, gebruik om die "regte grootte" model te vind, word in lokale optima vasgevang. Laastens vind die CORA algoritme dit moeilik om probleme te modelleer wanneer die verhouding van die aantal datapunte tot die aantal intreeveranderlikes laag is. Die analise van 'n chaotiese tydreeksprobleem het aangetoon dat die CORA algoritme modelle bou wat beduidend (met ten minste 95% betroubaarheid) akkurater is as die wat deur veelvoudige lineere regressie (VLR) , CART regressiebome en multiveranderlike aanpasbare regressielatfunksies (MARS) gebou is. Net die modelle van die RTS komponent van die CORA algoritme is egter beduidend meer akkuraat as die GNG en k-gemiddelde (RBF) radiale basisfunksiemodelle. In terme van kompleksiteit is die CORA modelle beduidend meer eenvoudig as die CART en RBF modelle, maar meer kompleks as die VLR, MARS en multilaagperseptronmodelle wat geevalueer is. As alle resultate in ag geneem word, is dit die outeur se mening dat die vermindering in akkuraatheid (ten meeste 0.42%) van die CORA modelle, as gevolg van die samevoeging van lidmaatfunksies en die vermindering van reels, geregverdig word deur die afname in die kompleksiteit van die model (ten minste 22%). Die resultate to on ook dat meer verstaanbare "as ... dan ... " wasige reel-modelle van chemiese prosess data gebou kan word as wat die geval is met bv. multiveranderlike latfunksiemodelle.
AFRIKAANSE OPSOMMING: 'n Groot aantal algoritmes wat as kragtige data-analiseerders gebruik kan word, is tot op he de ontwikkel, veral deur navorsers op die gebied van skynintelligensie, waar 'n hoe premie geplaas word op die beskikbaarheid van doeltreffende soekmetodes. Die algoritmes word egter nie geredelik vir operasionele besluitnemingsondersteuning in petrochemiese aanlegte gebruik nie, omrede die modelle wat op sodanige wyse gegenereer is, of te onakkuraat, of indien akkuraat genoeg, te moeilik is om te verstaan. Die Combinatorial Rule Assembler (CORA) algoritme word in hierdie werk voorgehou as moontlike oplossing vir hierdie probleme. Die algoritme gebruik lidmaatskap-funksies wat m.b.v. 'n Groeiende Neurale Gas (GNG) algoritme opgestel is, om intern disjunktiewe, Ode orde Sugeno wasige logikareels saam te stel deur gebruik te maak van 'n nie-gulsige kombinatoriese Reaktiewe Tabu Soektog (RTS) soek. Die invloed van CORA leerparameters is ondersoek en daar is eerstens gevind dat CORA modelle vir sommige probleme intreeruimte-oorvleuelings oplewer wat gelykstaande is aan sowat 'n derde van die van GNG gegenereerde modelle. Tweedens, die gebruik van 'n groter aantal wasige reels lei tot beter modusakkuraatheid. Derdens, verlaagde omruilperke lei nie altyd tot akkurater of eenvoudiger modelle nie. Vierdens, die gebruik van verplasings in plaas van omruilings tydens die samestelling van reels lei tot beter reelvereenvoudiging. Vyfdens, ordegrootte-penalisering van die konsekwente van reels dra oor die algemeen by tot beter akkuraatheid, veral wanneer baie reels afgelei is. Die variansie van die resultate is ook verminder. Sesdens, die implementering van Yu-, eerder as Zadeh-operators lei tot beter akkuraatheid. In die sewende plek, die gebruik van die GNG aangrensende matriks lei tot merkbaar laer kombinatoriese kompleksiteit in die aflei van wasige reels. In die agste plek , die AlC en BIC kriteria, gebruik om die "regte grootte" model te vind, word in lokale optima vasgevang. Laastens vind die CORA algoritme dit moeilik om probleme te modelleer wanneer die verhouding van die aantal datapunte tot die aantal intreeveranderlikes laag is. Die analise van 'n chaotiese tydreeksprobleem het aangetoon dat die CORA algoritme modelle bou wat beduidend (met ten minste 95% betroubaarheid) akkurater is as die wat deur veelvoudige lineere regressie (VLR) , CART regressiebome en multiveranderlike aanpasbare regressielatfunksies (MARS) gebou is. Net die modelle van die RTS komponent van die CORA algoritme is egter beduidend meer akkuraat as die GNG en k-gemiddelde (RBF) radiale basisfunksiemodelle. In terme van kompleksiteit is die CORA modelle beduidend meer eenvoudig as die CART en RBF modelle, maar meer kompleks as die VLR, MARS en multilaagperseptronmodelle wat geevalueer is. As alle resultate in ag geneem word, is dit die outeur se mening dat die vermindering in akkuraatheid (ten meeste 0.42%) van die CORA modelle, as gevolg van die samevoeging van lidmaatfunksies en die vermindering van reels, geregverdig word deur die afname in die kompleksiteit van die model (ten minste 22%). Die resultate to on ook dat meer verstaanbare "as ... dan ... " wasige reel-modelle van chemiese prosess data gebou kan word as wat die geval is met bv. multiveranderlike latfunksiemodelle.
Description
Dissertation PhD(Ing) -- University of Stellenbosch, 1999.
Keywords
Chemical processes, Fuzzy algorithms, Combinatorial Rule Assembler (CORA), CORA models, CORA algorithms, CORA technique, Dissertations -- Chemical engineering