Improved statistical flood frequency estimation approach for South Africa
Date
2023-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The performance of the most frequently used flood frequency probability distributions in South Africa, using the current statistical approach, were reviewed and all tend to perform poorly when lower probability frequency events are estimated, especially where outliers are present in the dataset. This can, essentially, be attributed to the challenge to analyse very limited ‘samples’ of annual flood peak populations, which are an unknown. As a result, outliers were inadequately 'managed' by attempting to 'normalise' the flood peak dataset, which concealed the significance of the observed data. Thus, by considering the outliers properly, the research was undertaken with the aim to improve the current statistical approach and to develop a more stable and consistent probability distribution. The re-evaluation of the plotting position was considered as a precondition to the research. The plotting position concept was initially applied more than a century ago. Since then, many alternative plotting position techniques have been developed that, practically, do not differ much from each other. The ineffective management of outliers is regarded as the main reason for the inconsistency in flood frequency results. Exploiting a more pragmatic approach, managing outliers by using Z-scores, an alternative plotting position technique was developed, referred to as the 'Z-set' plotting position. The main advantages of the Z-set plotting position technique, distinguishing it from the other plotting position techniques, is its consistency, the more sensible inclusion of outliers and a more homogeneous appearance. The Z-set plotting position technique also proved to be less susceptible to different record lengths than the existing plotting position techniques, which may encourage more consistent choices of appropriate probability distributions. The methodology followed in the development of the proposed new probability distribution, named IPZA, might be considered as unconventional, but the multiple regression approach was used to accommodate the strongly skewed data, often associated with annual flood peak series. The main advantages of the IPZA distribution, is its consistency, the simplicity of application (only one set of frequency factors for every parameter, regardless of the skewness), the integrated handling of outliers and the use of conventional method of moments, eliminating the need to adjust any moments. The performance of the Z-set plotting position and the IPZA probability distribution exceeded initial expectations. The results of both are more consistent than and, by taking outliers into account, appear to be more sensible than existing plotting positions and probability distributions. It is concluded that the Z-set plotting technique and the IPZA probability distribution should be used as valuable additions to the existing set of decision-making tools for hydrologists/engineers performing flood frequency analyses. Evidently, this does not exclude the use of existing probability distributions. It is sound practice to use more than one probability distribution to assist in making a more informed scientific decision.
AFRIKAANSE OPSOMMING: Die meer algemene waarskynlikheidsverdelings, wat tans in Suid-Afrika in die statistiese vloedfrekwensie benadering gebruik word, is geëvalueer en daar is gevind dat dit nie goed vaar in die beraming van laer waarskynlikheids-vloedpieke nie, veral waar uitskieters in die datastel voorkom. Dit kan toegeskryf word aan die uitdaging om vloedfrekwensie-ontledings te doen met 'n steekproef van die populasie van jaarlikse vloedpieke, wat 'n onbekende is. Gevolglik word uitskieters nie effektief hanteer nie, deurdat daar gepoog word om die datastel te normaliseer wat meebring dat die ware betekenis van die data verberg word. Derhalwe, met behoorlike inagneming van uitskieters, is die navorsing onderneem met die doel om die huidige statistiese benadering te verbeter en om 'n meer stabiele en konsekwente waarskynlikheidsverdeling te ontwikkel. Die her-evaluering van die plotposisie-tegniek was gestel as 'n voorvereiste tot die navorsing. Die plotposisie-tegniek is aanvanklik meer as 'n eeu gelede ontwikkel. Sedertdien is verskeie alternatiewe plotposisies ontwikkel wat, uit 'n praktiese oogpunt, nie veel van mekaar verskil nie. Oneffektiewe hantering van uitskieters word beskou as die hoofrede vir die inkonsekwente resultate in vloed waarskynlikheids-ontledings. 'n Meer praktiese benadering is ondersoek, waar uitskieters hanteer is met behulp van Z-waardes, wat gelei het tot die ontwikkeling van 'n alternatiewe plotposisie-tegniek, bekend as die 'Z-set' plotposisie. Die ooglopende voordele van die Z-set plotposisie-tegniek, bo die ander plotposisie-tegnieke, is groter konsekwentheid, meer sinvolle hantering van uitskieters en 'n meer homogene voorkoms. Die Z-set plotposisie-tegniek het ook getoon dat dit meer bestendig reageer, as die bestaande plotposisies, op verskillend rekordlengtes, wat meer konsekwente keuses van waarskynlikheidsverdelings kan meebring. Die metode wat gebruik was in die ontwikkeling van die voorgestelde waarskynlikheidsverdeling, genaamd 'IPZA', mag beskou word as onkonvensioneel, maar die meervoudige regressie-ontleding model is gebruik om uiters skeef verdeelde data, wat dikwels in jaarlikse vloedpiekdata voorkom, te akkommodeer. Die konsekwentheid, eenvoud van toepassing (slegs een stel frekwensie-faktore vir elke parameter, ongeag die skeefheid), die ingeslote hantering van uitskieters en die gebruik van die konvensionele metode van momente, wat die transformasie van momente onnodig maak, is die grootste voordele van die IPZA verdeling. Die Z-set plotposisie en die IPZA waarskynlikheidsverdeling het alle aanvanklike verwagtinge oorskry. Beide se resultate is aansienlik meer konsekwent en, deur die uitskieters in ag te neem, blyk dit ook meer sinvol te wees as dié van bestaande plotposisies en waarskynlikheidsverdelings. Die IPZA waarskynlikheidsverdeling, asook die Z-set plotposisie-tegniek, behoort gebruik te word in vloedfrekwensie-ontledings deur hidroloë/-ingenieurs, as waardevolle toevoegings tot bestaande besluitnemings-hulpmiddels. Uiteraard sluit dit nie ander verdelings uit nie. Dit is steeds gesonde praktyk om meer as een waarskynlikheidsverdeling te gebruik om 'n beter ingeligte wetenskaplike besluit te kan neem.
AFRIKAANSE OPSOMMING: Die meer algemene waarskynlikheidsverdelings, wat tans in Suid-Afrika in die statistiese vloedfrekwensie benadering gebruik word, is geëvalueer en daar is gevind dat dit nie goed vaar in die beraming van laer waarskynlikheids-vloedpieke nie, veral waar uitskieters in die datastel voorkom. Dit kan toegeskryf word aan die uitdaging om vloedfrekwensie-ontledings te doen met 'n steekproef van die populasie van jaarlikse vloedpieke, wat 'n onbekende is. Gevolglik word uitskieters nie effektief hanteer nie, deurdat daar gepoog word om die datastel te normaliseer wat meebring dat die ware betekenis van die data verberg word. Derhalwe, met behoorlike inagneming van uitskieters, is die navorsing onderneem met die doel om die huidige statistiese benadering te verbeter en om 'n meer stabiele en konsekwente waarskynlikheidsverdeling te ontwikkel. Die her-evaluering van die plotposisie-tegniek was gestel as 'n voorvereiste tot die navorsing. Die plotposisie-tegniek is aanvanklik meer as 'n eeu gelede ontwikkel. Sedertdien is verskeie alternatiewe plotposisies ontwikkel wat, uit 'n praktiese oogpunt, nie veel van mekaar verskil nie. Oneffektiewe hantering van uitskieters word beskou as die hoofrede vir die inkonsekwente resultate in vloed waarskynlikheids-ontledings. 'n Meer praktiese benadering is ondersoek, waar uitskieters hanteer is met behulp van Z-waardes, wat gelei het tot die ontwikkeling van 'n alternatiewe plotposisie-tegniek, bekend as die 'Z-set' plotposisie. Die ooglopende voordele van die Z-set plotposisie-tegniek, bo die ander plotposisie-tegnieke, is groter konsekwentheid, meer sinvolle hantering van uitskieters en 'n meer homogene voorkoms. Die Z-set plotposisie-tegniek het ook getoon dat dit meer bestendig reageer, as die bestaande plotposisies, op verskillend rekordlengtes, wat meer konsekwente keuses van waarskynlikheidsverdelings kan meebring. Die metode wat gebruik was in die ontwikkeling van die voorgestelde waarskynlikheidsverdeling, genaamd 'IPZA', mag beskou word as onkonvensioneel, maar die meervoudige regressie-ontleding model is gebruik om uiters skeef verdeelde data, wat dikwels in jaarlikse vloedpiekdata voorkom, te akkommodeer. Die konsekwentheid, eenvoud van toepassing (slegs een stel frekwensie-faktore vir elke parameter, ongeag die skeefheid), die ingeslote hantering van uitskieters en die gebruik van die konvensionele metode van momente, wat die transformasie van momente onnodig maak, is die grootste voordele van die IPZA verdeling. Die Z-set plotposisie en die IPZA waarskynlikheidsverdeling het alle aanvanklike verwagtinge oorskry. Beide se resultate is aansienlik meer konsekwent en, deur die uitskieters in ag te neem, blyk dit ook meer sinvol te wees as dié van bestaande plotposisies en waarskynlikheidsverdelings. Die IPZA waarskynlikheidsverdeling, asook die Z-set plotposisie-tegniek, behoort gebruik te word in vloedfrekwensie-ontledings deur hidroloë/-ingenieurs, as waardevolle toevoegings tot bestaande besluitnemings-hulpmiddels. Uiteraard sluit dit nie ander verdelings uit nie. Dit is steeds gesonde praktyk om meer as een waarskynlikheidsverdeling te gebruik om 'n beter ingeligte wetenskaplike besluit te kan neem.
Description
Thesis (PhD)--Stellenbosch University, 2023.