Variance estimation for Markov processes
Date
2021-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: We study the asymptotic variance of additive functionals of Markov processes, used in
statistics and stochastic modelling as estimators of model parameters. The observations
generated by these processes are correlated, which complicates the estimation of the
asymptotic variance. In practice, methods for estimating the asymptotic variance are
based on either estimating the correlation function or the segmentation of the additive
observable (batch mean method). In this thesis, we propose and study three new estimators,
based on a link between the asymptotic variance, large deviation theory, and an
equation of probability theory called the Poisson equation. The first two estimators rely
on the fact that the solution of the Poisson equation can be represented as a conditional
expectation. The third estimator is based on a stochastic approximation of the solution of
the Poisson equation, suggested by recent works in large deviation theory, which describe
the solution as an eigenfunction that can be iteratively estimated in an ‘online’ way as
a simulation unfolds. We illustrate these three estimators for simple Markov processes,
including Markov chains and diffusion processes, for which the asymptotic variance is
exactly known.
AFRIKAANSE OPSOMMING: Ons bestudeer die asimptotiese variansie van additiewe funksionale vir Markov-prosesse wat gebruik word in statistiek en stogastiese modellering as beramers van model parameters. Dié prosesse genereer gekorreleerde waarnemings wat die beraming van die asimptotiese variansie kompliseer. In die praktyk word metodes om die asimptotiese variansie te beraam gebaseer op óf die beraming van die korrelasiefunksie óf die segmentasie van die additiewe waarneming (lot gemiddeldes metode). In hierdie tesis stel ons drie nuwe beramers voor wat gebaseer is op die verwantskap tussen die asimptotiese variansie, teorie van groot afwykings en ’n vergelyking van waarskynlikheidsteorie, genaamd die Poisson-vergelyking. Die eerste twee beramers is gebaseer op die feit dat the oplossing van die Poisson-vergelyking in terme van ’n voorwaardelike verwagting uitgebeeld kan word. Die derde beramer is gebaseer op ’n stogastiese benadering van die Poisson-vergelyking se oplossing. Hierdie benadering word voorgestel in onlangse werk in die teorie van groot afwykings, waarin die oplossing beskryf word as ’n eiefunksie wat iteratief benader kan word in ’n “aanlyn”-manier soos die simulasie ontvou. Ons gebruik hierdie drie beramers op eenvoudige Markov-prosesse, naamlik Markov-kettings en diffusieprosesse, waar die asimptotiese varianse bekend is. iii
AFRIKAANSE OPSOMMING: Ons bestudeer die asimptotiese variansie van additiewe funksionale vir Markov-prosesse wat gebruik word in statistiek en stogastiese modellering as beramers van model parameters. Dié prosesse genereer gekorreleerde waarnemings wat die beraming van die asimptotiese variansie kompliseer. In die praktyk word metodes om die asimptotiese variansie te beraam gebaseer op óf die beraming van die korrelasiefunksie óf die segmentasie van die additiewe waarneming (lot gemiddeldes metode). In hierdie tesis stel ons drie nuwe beramers voor wat gebaseer is op die verwantskap tussen die asimptotiese variansie, teorie van groot afwykings en ’n vergelyking van waarskynlikheidsteorie, genaamd die Poisson-vergelyking. Die eerste twee beramers is gebaseer op die feit dat the oplossing van die Poisson-vergelyking in terme van ’n voorwaardelike verwagting uitgebeeld kan word. Die derde beramer is gebaseer op ’n stogastiese benadering van die Poisson-vergelyking se oplossing. Hierdie benadering word voorgestel in onlangse werk in die teorie van groot afwykings, waarin die oplossing beskryf word as ’n eiefunksie wat iteratief benader kan word in ’n “aanlyn”-manier soos die simulasie ontvou. Ons gebruik hierdie drie beramers op eenvoudige Markov-prosesse, naamlik Markov-kettings en diffusieprosesse, waar die asimptotiese varianse bekend is. iii
Description
Thesis (MSc)--Stellenbosch University, 2021.
Keywords
Markov processes, Estimation theory, Asymptotic distribution (Probability theory), Stochastic models, Poisson's equation, UCTD