Multivariate nonlinear time series analysis of dynamic process systems
Date
2003-04
Authors
Jemwa, Gorden Takawadiyi
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : University of Stellenbosch
Abstract
ENGLISH ABSTRACT: Physical systems encountered in process engineering are invariably ill-defined, multivariate,
and exhibit complex nonlinear dynamical behaviour. The increasing demands
for better process efficiency and high product quality have led to the development
and implementation of advanced control strategies in process plants. These
modern control strategies are based on the use of a mathematical model defined for
the process. Traditionally, linear models have been used to approximate the dynamics
of processes whereas most processes are governed by nonlinear mechanisms.
Since linear systems theory is well-established whereas nonlinear systems theory is
not, recent developments in nonlinear dynamical systems theory present opportunities
for improved approaches in modelling these process systems. It is now known
that a nonlinear description of a process can be obtained from using time-delayed
copies reconstructed from measurements taken from the process. Due to low signal
to noise ratios associated with measured data it is logical to exploit redundant information
in multivariate time signals taken from the systems in reconstructing the
underlying dynamics.
This study investigated the extension of univariate nonlinear time series analysis
to the situation where multivariate measurements are available. Using simulated
data from a coupled continuously stirred tank reactor and measured data from a
flotation process system, the comparative advantages of using multivariate and univariate
state space reconstructions were investigated. With respect to detection of
nonlinearity multivariate surrogate analysis were found to give potentially robust
results because of preservation of cross-correlations among components in the surrogate
data. Multivariate local linear models showed a deterministic structure in both
small and large neighbourhood sizes whereas for scalar embeddings determinism was
defined only in smaller neighbourhood sizes. Non-uniform multivariate embeddings
gave local linear models that resembled models from a trivial reconstruction of the original state space variables. With regard to global nonlinear modelling, multivariate
embeddings gave models with better predictability irrespective of the model
class used. Further improvements in the performance of models were obtained for
multivariate non-uniform embeddings.
A relatively new statistical learning algorithm, the least-squares support vector
machine (LSSVM), was evaluated using multilayer perceptrons (MLP) as a benchmark
in modelling nonlinear time series using simulated and plant data. It was
observed that in the absence of autocorrelations in the variables and sparse data
LSSVMs performed better than MLPs. Simulation of trained models gave consistent
results for the LSSVMs, which was not the case for MLPs. However, the
computational costs incurred in training the LSSVM model was significantly higher
than for MLPs. LSSVMs were found to be insensitive to dimensionality reduction
methods whereas the performance of MLPs degraded with increasing complexity of
the dimension reduction method. No relative merits were found for using complex
subspace dimension reduction methods for the data used. No general conclusions
could be drawn with respect to the relative superiority of one class of models method
over the other.
Spatiotemporal structures are routinely observed in many chemical systems,
such as reactive-diffusion and other pattern forming systems. We investigated the
modelling of spatiotemporal time series using the coupled logistic map lattice as
a case study. It was found that including both spatial and temporal information
improved the performance of the fitted models. However, the superiority of spatiotemporal
embeddings over individual time series was found to be defined for
certain choices of the spatial and temporal embedding parameters.
AFRIKAANSE OPSOMMING: Fisiese stelsels wat in prosesingenieurswese voorkom is dikwels nie goed gedefinieer nie, multiveranderlik en vertoon komplekse nie-lineˆere gedrag. Toenemende vereistes vir ho¨e prosesdoeltreffendheid en produkgehalte het gelei tot die ontwikkeling en implementering van gevorderde beheerstrategie¨e vir prosesaanlegte. Hierdie morderne beheerstrategie¨e is gebaseer op die gebruik van wiskundige prosesmodelle. Lineˆere modelle word gewoonlik ontwikkel, al is die onderliggende prosesmeganismes in die algemeen nie-lineˆere, aangesien lineˆere stetselteorie goed gevestig is, en nie-line¨ere stelselteorie nie. Onlangse verwikkelinge in die teorie van nie-lineˆeredinamiese stelsels bied egter geleenthede vir verbeterde modellering van prosesstelsels. Dit is bekend dat ‘n nie-lineˆere beskrywing van ‘n progses verkry kan word deur tydvertraagde kopie¨e van metings van die prosesse te rekonstrueer. Met die lae seintot- geraasverhoudings wat met gemete data geassosieer word, is dit logies om die oortollige informasie in meerveranderlike seine te benut tydens die rekonstruksie van die onderliggende prosesdinamika. In die tesis is die uitbreiding van enkel-veranderlike nie-lineˆere tydreeksontleding na meer-veranderlike stelsels ondersoek. Met data van twee aaneengeskakelde gesimuleerde geroerde tenkreaktore en werklike data van ‘n flottasieproses, is die meriete van enkel- en meerveranderlike rekonstruksies van toestandruimtes ondersoek. Meerveranderlike surrogaatdata-ontleding het nie-lineariteite in die data op ‘n meer robuuste wyse ge¨ıdentifiseer, a.g.v. die behoud van kruis-korrelasies in die komponente van die data. Meerveranderlike lokale lineˆere modelle het ‘n deterministiese struktuur in beide klein en groot naasliggende omgewings ge¨ıdentifiseer, terwyl enkelveranderlike metodes dit slegs vir klein naasliggende omgewings kon doen. Nie-uniforme meerveranderlike inbeddings het lokale lineˆere modelle gegenereer wat soos globale modelle afkomstig van triviale rekonstruksies van die data gelyk het. M.b.t globale nie-lineˆere modellering, het meerveranderlike inbedding deurgaans beter modelle opgelewer. Verdere verbetering in die prestasie van modelle kon verkry word d.m.v. meerveranderlike nie-uniforme inbedding. ‘n Relatief nuwe statistiese algoritme, die kleinste-kwadrate-steunvektormasjien (KKSVM) is ge¨evalueer teenoor multilaag-perseptrons (MLP) as ‘n standaard vir die modellering van nie-lineˆere tydreekse, deur gebruik te maak van gesimuleerde en werklike aanlegdata. Daar is gevind dat die KKSVM beter presteer het as die MLPs wanneer die opeenvolgende waarnemings swak gekorreleer en min was relatief tot die aantal veranderlikes. Die KKSVMs het beduidend langer geneem as die MLPs om te ontwikkel. Hulle was ook minder sensitief vir die metodes wat gevolg is om die dimensionaliteit van die data te verlaag, anders as die MLPs. Ook is gevind dat meer komplekse metodes tot die verlaging van die dimensionaliteit weinig nut gehad het. Geen algemene gevolgtrekkings kan egter gemaak word m.b.t die verskillende modelle nie. Ruimtelik-temporale strukture word algemeen waargeneem in baie chemiese stelsels, soos reaktiewe diffusie e.a. patroonvormende sisteme. Die modellering van ruimtelik-temporale stelsels is bestudeer aan die hand van ‘n gekoppelde logistiese projeksierooster. Insluiting van beide die ruimtelike en temporale inligting het tot beduidend beter modelle gelei, solank as wat di´e inligting op die regte wyse ontsluit is.
AFRIKAANSE OPSOMMING: Fisiese stelsels wat in prosesingenieurswese voorkom is dikwels nie goed gedefinieer nie, multiveranderlik en vertoon komplekse nie-lineˆere gedrag. Toenemende vereistes vir ho¨e prosesdoeltreffendheid en produkgehalte het gelei tot die ontwikkeling en implementering van gevorderde beheerstrategie¨e vir prosesaanlegte. Hierdie morderne beheerstrategie¨e is gebaseer op die gebruik van wiskundige prosesmodelle. Lineˆere modelle word gewoonlik ontwikkel, al is die onderliggende prosesmeganismes in die algemeen nie-lineˆere, aangesien lineˆere stetselteorie goed gevestig is, en nie-line¨ere stelselteorie nie. Onlangse verwikkelinge in die teorie van nie-lineˆeredinamiese stelsels bied egter geleenthede vir verbeterde modellering van prosesstelsels. Dit is bekend dat ‘n nie-lineˆere beskrywing van ‘n progses verkry kan word deur tydvertraagde kopie¨e van metings van die prosesse te rekonstrueer. Met die lae seintot- geraasverhoudings wat met gemete data geassosieer word, is dit logies om die oortollige informasie in meerveranderlike seine te benut tydens die rekonstruksie van die onderliggende prosesdinamika. In die tesis is die uitbreiding van enkel-veranderlike nie-lineˆere tydreeksontleding na meer-veranderlike stelsels ondersoek. Met data van twee aaneengeskakelde gesimuleerde geroerde tenkreaktore en werklike data van ‘n flottasieproses, is die meriete van enkel- en meerveranderlike rekonstruksies van toestandruimtes ondersoek. Meerveranderlike surrogaatdata-ontleding het nie-lineariteite in die data op ‘n meer robuuste wyse ge¨ıdentifiseer, a.g.v. die behoud van kruis-korrelasies in die komponente van die data. Meerveranderlike lokale lineˆere modelle het ‘n deterministiese struktuur in beide klein en groot naasliggende omgewings ge¨ıdentifiseer, terwyl enkelveranderlike metodes dit slegs vir klein naasliggende omgewings kon doen. Nie-uniforme meerveranderlike inbeddings het lokale lineˆere modelle gegenereer wat soos globale modelle afkomstig van triviale rekonstruksies van die data gelyk het. M.b.t globale nie-lineˆere modellering, het meerveranderlike inbedding deurgaans beter modelle opgelewer. Verdere verbetering in die prestasie van modelle kon verkry word d.m.v. meerveranderlike nie-uniforme inbedding. ‘n Relatief nuwe statistiese algoritme, die kleinste-kwadrate-steunvektormasjien (KKSVM) is ge¨evalueer teenoor multilaag-perseptrons (MLP) as ‘n standaard vir die modellering van nie-lineˆere tydreekse, deur gebruik te maak van gesimuleerde en werklike aanlegdata. Daar is gevind dat die KKSVM beter presteer het as die MLPs wanneer die opeenvolgende waarnemings swak gekorreleer en min was relatief tot die aantal veranderlikes. Die KKSVMs het beduidend langer geneem as die MLPs om te ontwikkel. Hulle was ook minder sensitief vir die metodes wat gevolg is om die dimensionaliteit van die data te verlaag, anders as die MLPs. Ook is gevind dat meer komplekse metodes tot die verlaging van die dimensionaliteit weinig nut gehad het. Geen algemene gevolgtrekkings kan egter gemaak word m.b.t die verskillende modelle nie. Ruimtelik-temporale strukture word algemeen waargeneem in baie chemiese stelsels, soos reaktiewe diffusie e.a. patroonvormende sisteme. Die modellering van ruimtelik-temporale stelsels is bestudeer aan die hand van ‘n gekoppelde logistiese projeksierooster. Insluiting van beide die ruimtelike en temporale inligting het tot beduidend beter modelle gelei, solank as wat di´e inligting op die regte wyse ontsluit is.
Description
Thesis (MScIng)--University of Stellenbosch, 2003.
Keywords
Chemical process control, Time-series analysis, Production engineering, Theses -- Metallurgical engineering, Dissertations -- Metallurgical engineering