Change-point detection in dynamical systems using auto-associative neural networks
Date
2012-03
Authors
Bulunga, Meshack Linda
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: In this research work, auto-associative neural networks have been used for changepoint
detection. This is a nonlinear technique that employs the use of artificial neural
networks as inspired among other by Frank Rosenblatt’s linear perceptron algorithm
for classification. An auto-associative neural network was used successfully to detect
change-points for various types of time series data. Its performance was compared
to that of singular spectrum analysis developed by Moskvina and Zhigljavsky.
Fraction of Explained Variance (FEV) was also used to compare the performance of
the two methods. FEV indicators are similar to the eigenvalues of the covariance
matrix in principal component analysis. Two types of time series data were used for change-point detection: Gaussian data
series and nonlinear reaction data series. The Gaussian data had four series with
different types of change-points, namely a change in the mean value of the time
series (T1), a change in the variance of the time series (T2), a change in the
autocorrelation of the time series (T3), and a change in the crosscorrelation of two
time series (T4). Both linear and nonlinear methods were able to detect the changes
for T1, T2 and T4. None of them could detect the changes in T3. With the Gaussian
data series, linear singular spectrum analysis (LSSA) performed as well as the
NLSSA for the change point detection. This is because the time series was linear
and the nonlinearity of the NLSSA was therefore not important. LSSA did even better
than NLSSA when comparing FEV values, since it is not subject to suboptimal
solutions as could sometimes be the case with autoassociative neural networks. The nonlinear data consisted of the Belousov-Zhabotinsky (BZ) reactions,
autocatalytic reaction time series data and data representing a predator-prey system.
With the NLSSA methods, change points could be detected accurately in all three
systems, while LSSA only managed to detect the change-point on the BZ reactions
and the predator-prey system. The NLSSA method also fared better than the LSSA
method when comparing FEV values for the BZ reactions. The LSSA method was
able to model the autocatalytic reactions fairly accurately, being able to explain 99%
of the variance in the data with one component only. NLSSA with two nodes on the
bottleneck attained an FEV of 87%. The performance of both NLSSA and LSSA
were comparable for the predator-prey system, both systems, where both could attain FEV values of 92% with a single component. An auto-associative neural
network is a good technique for change point detection in nonlinear time series data.
However, it offers no advantage over linear techniques when the time series data are
linear.
AFRIKAANSE OPSOMMING: In hierdie navorsing is outoassosiatiewe neurale netwerk gebruik vir veranderingspuntwaarneming. Dis is ‘n nielineêre tegniek wat neurale netwerke gebruik soos onder andere geïnspireer deur Frank Rosnblatt se lineêre perseptronalgoritme vir klassifikasie. ‘n Outoassosiatiewe neurale netwerk is suksesvol gebruik om veranderingspunte op te spoor in verskeie tipes tydreeksdata. Die prestasie van die outoassosiatiewe neurale netwerk is vergelyk met singuliere spektrale oontleding soos ontwikkel deur Moskvina en Zhigljavsky. Die fraksie van die verklaarde variansie (FEV) is ook gebruik om die prestasie van die twee metodes te vergelyk. FEV indikatore is soortgelyk aan die eiewaardes van die kovariansiematriks in hoofkomponentontleding. Twee tipes tydreeksdata is gebruik vir veranderingspuntopsporing: Gaussiaanse tydreekse en nielineêre reaksiedatareekse. Die Gaussiaanse data het vier reekse gehad met verskillende veranderingspunte, naamlik ‘n verandering in die gemiddelde van die tydreeksdata (T1), ‘n verandering in die variansie van die tydreeksdata (T2), ‘n verandering in die outokorrelasie van die tydreeksdata (T3), en ‘n verandering in die kruiskorrelasie van twee tydreekse (T4). Beide lineêre en nielineêre metodes kon die veranderinge in T1, T2 en T4 opspoor. Nie een het egter daarin geslaag om die verandering in T3 op te spoor nie. Met die Gaussiaanse tydreeks het lineêre singuliere spektrumanalise (LSSA) net so goed gevaar soos die outoassosiatiewe neurale netwerk of nielineêre singuliere spektrumanalise (NLSSA), aangesien die tydreekse lineêr was en die vermoë van die NLSSA metode om nielineêre gedrag te identifiseer dus nie belangrik was nie. Inteendeel, die LSSA metode het ‘n groter FEV waarde getoon as die NLSSA metode, omdat LSSA ook nie blootgestel is aan suboptimale oplossings, soos wat soms die geval kan wees met die afrigting van die outoassosiatiewe neural netwerk nie. Die nielineêre data het bestaan uit die Belousov-Zhabotinsky (BZ) reaksiedata, ‘n outokatalitiese reaksietydreeksdata en data wat ‘n roofdier-prooistelsel verteenwoordig het. Met die NLSSA metode kon veranderingspunte betroubaar opgespoor word in al drie tydreekse, terwyl die LSSA metode net die veranderingspuntin die BZ reaksie en die roofdier-prooistelsel kon opspoor. Die NLSSA metode het ook beter gevaaar as die LSSA metode wanneer die FEV waardes vir die BZ reaksies vergelyk word. Die LSSA metode kon die outokatalitiese reaksies redelik akkuraat modelleer, en kon met slegs een komponent 99% van die variansie in die data verklaar. Die NLSSA metode, met twee nodes in sy bottelneklaag, kon ‘n FEV waarde van slegs 87% behaal. Die prestasie van beide metodes was vergelykbaar vir die roofdier-prooidata, met beide wat FEV waardes van 92% kon behaal met hulle een komponent. ‘n Outoassosiatiewe neural netwerk is ‘n goeie metode vir die opspoor van veranderingspunte in nielineêre tydreeksdata. Dit hou egter geen voordeel in wanneer die data lineêr is nie.
AFRIKAANSE OPSOMMING: In hierdie navorsing is outoassosiatiewe neurale netwerk gebruik vir veranderingspuntwaarneming. Dis is ‘n nielineêre tegniek wat neurale netwerke gebruik soos onder andere geïnspireer deur Frank Rosnblatt se lineêre perseptronalgoritme vir klassifikasie. ‘n Outoassosiatiewe neurale netwerk is suksesvol gebruik om veranderingspunte op te spoor in verskeie tipes tydreeksdata. Die prestasie van die outoassosiatiewe neurale netwerk is vergelyk met singuliere spektrale oontleding soos ontwikkel deur Moskvina en Zhigljavsky. Die fraksie van die verklaarde variansie (FEV) is ook gebruik om die prestasie van die twee metodes te vergelyk. FEV indikatore is soortgelyk aan die eiewaardes van die kovariansiematriks in hoofkomponentontleding. Twee tipes tydreeksdata is gebruik vir veranderingspuntopsporing: Gaussiaanse tydreekse en nielineêre reaksiedatareekse. Die Gaussiaanse data het vier reekse gehad met verskillende veranderingspunte, naamlik ‘n verandering in die gemiddelde van die tydreeksdata (T1), ‘n verandering in die variansie van die tydreeksdata (T2), ‘n verandering in die outokorrelasie van die tydreeksdata (T3), en ‘n verandering in die kruiskorrelasie van twee tydreekse (T4). Beide lineêre en nielineêre metodes kon die veranderinge in T1, T2 en T4 opspoor. Nie een het egter daarin geslaag om die verandering in T3 op te spoor nie. Met die Gaussiaanse tydreeks het lineêre singuliere spektrumanalise (LSSA) net so goed gevaar soos die outoassosiatiewe neurale netwerk of nielineêre singuliere spektrumanalise (NLSSA), aangesien die tydreekse lineêr was en die vermoë van die NLSSA metode om nielineêre gedrag te identifiseer dus nie belangrik was nie. Inteendeel, die LSSA metode het ‘n groter FEV waarde getoon as die NLSSA metode, omdat LSSA ook nie blootgestel is aan suboptimale oplossings, soos wat soms die geval kan wees met die afrigting van die outoassosiatiewe neural netwerk nie. Die nielineêre data het bestaan uit die Belousov-Zhabotinsky (BZ) reaksiedata, ‘n outokatalitiese reaksietydreeksdata en data wat ‘n roofdier-prooistelsel verteenwoordig het. Met die NLSSA metode kon veranderingspunte betroubaar opgespoor word in al drie tydreekse, terwyl die LSSA metode net die veranderingspuntin die BZ reaksie en die roofdier-prooistelsel kon opspoor. Die NLSSA metode het ook beter gevaaar as die LSSA metode wanneer die FEV waardes vir die BZ reaksies vergelyk word. Die LSSA metode kon die outokatalitiese reaksies redelik akkuraat modelleer, en kon met slegs een komponent 99% van die variansie in die data verklaar. Die NLSSA metode, met twee nodes in sy bottelneklaag, kon ‘n FEV waarde van slegs 87% behaal. Die prestasie van beide metodes was vergelykbaar vir die roofdier-prooidata, met beide wat FEV waardes van 92% kon behaal met hulle een komponent. ‘n Outoassosiatiewe neural netwerk is ‘n goeie metode vir die opspoor van veranderingspunte in nielineêre tydreeksdata. Dit hou egter geen voordeel in wanneer die data lineêr is nie.
Description
Thesis (MScEng)--Stellenbosch University, 2012.
Keywords
Change-point detection, Process monitoring, Neural networks, Singular spectrum analysis, Dissertations -- Process engineering, Theses -- Process engineering