Evaluating the process and output indicators for maternal, newborn and child survival in South Africa : a comparative study of PMTCT information systems in KwaZulu-Natal and the Western Cape
Date
2015-04
Authors
Nicol, Edward Fredrick
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The prevention of mother-to-child transmission (PMTCT) of HIV is a key maternal and child health intervention in the context of the HIV/AIDS pandemic in South Africa. Accordingly, the PMTCT programme has been incorporated in the District Health Management Information System (DHMIS) that collects monthly facility-based data to support the management of public health services. To date, there has not been a comprehensive evaluation of the PMTCT information system. By comparing the experiences in two health districts, using the Performance of Routine Information System Management (PRISM) framework and tools, this study seeks to evaluate the availability, quality and use of process and output indicators for monitoring PMTCT interventions.
A comparative analytical and observational study was undertaken using a multi-method approach which included: a self-administered survey of health information personnel to assess confidence and competence levels for routine health information system (RHIS) tasks, an assessment of the routine PMTCT data for quality, completeness, accuracy, and data use; and a facility survey of RHIS processes and resources. In addition, in-depth interviews with 22 key informants and observations in health facilities were conducted. Data were collected from 57 health facilities in a convenience sample of two health districts, and also from 182 health information personnel in the 57 health facilities, three sub-districts, and two district offices. Descriptive statistics, χ2-test, correlation and multiple regression analyses were conducted using STATA® Version 13. A general inductive approach was also used to analyse the qualitative data, which was used for triangulation.
The study revealed considerable data quality concerns for the PMTCT information with an average accuracy between the register and routine monthly report of 51% and between the routine monthly reports and DHMIS database of 84% suggesting that the primary point of departure for accurate transfer of data is during the collation process. The importance of human factors was emphasised by the observation that the average confidence level for performing RHIS-related tasks (69%) was not commensurate with the average competence levels (30%). Education was found to be associated with competence, implying that levels of education may be associated with the level at which RHIS competencies are acquired; and that three years or more of post-matriculation education is necessary. Motivation, on the other hand was not associated
Stellenbosch University https://scholar.sun.ac.za
iv
with competence. The study observed the absence of processes such as data-quality checks and data-analysis in place in facilities. There was a general absence of a culture of information use, as a result of lack of trust in the data, and the inability of programme and facility managers to analyse, interpret and use information. We observed differences in the data accuracy by organisational authority, and multivariate analysis and qualitative information suggested that feedback may be an essential process to ensure quality.
Although the PRISM framework has been developed from a multi-disciplinary evidence base, this study has been able to validate some of the internal assumptions but has also found some aspects that were not supported such as motivation and data display. Data collected from a larger number of facilities will be required to investigate this further.
Institutional capacity to improve RHIS processes, ensure core competencies for RHIS-related tasks are needed, and in the longer term, measures to tackle problems associated with low pass rates in numeracy subjects among high school learners are needed. Further exploration of the possible factors that may influence data accuracy, such as supervision, training and leadership are needed as well as investigating the relationships between human and institutional agency-related aspects, in particular, how individual actions can bring about changes in institutional routines. Further study is needed to determine how decision for planning and evaluating key programmes such as PMTCT are made, and what informs such decisions if not routine data.
AFRIKAANSE OPSOMMING: In die lig van Suid Afrika se MIV/VIGS-pandemie kan ’n ingryping op gesondheidsvlak ’n belangrike rol speel om moeder-na-kind-oordrag (beter bekend as PMTCT) van MIV te voorkom. ’n Inligtingstelsel vir distriksgesondheidsbestuur – die DHMIS – was ontwerp vir die invordering van maandelikse fasiliteitsdata, wat gebruik kan word om die bestuur van openbare gesondheidsdienste en -programme te ondersteun. Die inligtingstelsel self was nog nie omvattend evalueer nie. Hierdie studie het die ervarings van twee gesondheidsdistrikte vergelyk met behulp van die PRISM- (Performance of Routine Information System) raamwerk en -instrumente. Derhalwe het hierdie studie die beskikbaarheid, gehalte en gebruik van proses- en uitsetaanwysers probeer bepaal om die PMTCT-ingrypings te monitor. ’n Vergelykende analitiese en waarnemingstudie is onderneem met behulp van ’n veelvuldige benadering. Die verskillende metodes het ’n selfopname onder gesondheidsinligtingspersoneel ingesluit om hul selfvertroue en bevoegdheid in roetinegesondheidsinligtingstelsel (RHIS)-take te evalueer. Daar was ook ’n assessering van die PMTCT-roetinedata om datagehalte, -volledigheid, -akkuraatheid en -gebruik te beoordeel.’n Fasiliteitsopname oor RHIS-prosesse en –hulpbronne was ook gedoen. Ander navorsingsmetodes het diepte-onderhoude met 22 sleutelpersone ingesluit, sowel as waarnemings in gesondheidsfasiliteite. Data is van 182 gesondheidsinligtingpersoneel van die 57 gesondheidsfasiliteite in ’n geriefsteekproef van twee gesondheidsdistrikte ingesamel. Deskriptiewe statistiek, χ2-toetsing, korrelasie en veelvoudige regressie is met behulp van STATA® weergawe 13 ontleed. ʼn Algemene induktiewe benadering is ook gevolg om die kwalitatiewe data te ontleed. Die studie toon dat menslike faktore ’n impak op datagehalte en -inligting kan hê, met ’n gemiddelde akkuraatheidsyfer van 51% van beide die register en roetine maandelikse verslae. Die akkuraatheid van die maandelikse verslae en RHIS databasis is 84%, wat aandui dat akkuraatheid slegs toegepas word indien inligting uit die staanspoor korrek aangeteken word. Die impak van menslike hulpbronafaktore was beklemtoon toe daar bevind was dat hoewel 69% van RHIS-dataverwerkers vertroue getoon het in die gebruik van RHIS-verwante take, slegs 30% wel bevoeg was om die werk te doen. Opvoeding was grootliks geassosieer met bevoegdheid, wat moontlik voorstel dat sekere vlakke van opvoeding benodig word vir spesifieke RHIS-bevoegdhede. Minsten drie jaar tersiêre opleiding word aanbebeel. Motivering was nie met Stellenbosch University https://scholar.sun.ac.za vi bevoegdheid geklassifeer nie. Die studie het bevind dat daar te min aandag aan datagehalte en –analise gegee word in fasiliteite. Oor die algemeen was daar nie ’n ordentlike kultuur van inligtinggebruik nie, a.g.v. die feit dat daar nie vertroue in die data was nie. Terselftertyd was program- en fasiliteitbestuurders nie bevoeg om inligting te analiseer en ontleed nie. Ons het verskille in die akkuraatheid van data opgetel wat deur organisasie-hoofde gedoen was. Meervoudige analise en kwalitatiewe informasie stel voor dat terugvoering ’n belangrike deel van die proses moet wees om kwaliteit te verseker. Hoewel die PRISM-raamwerk saamgestel was uit ’n multi-dissiplinêre bewyslewering, kon hierdie studie sommige van die interne voorneme valideer, maar daar was aspekte wat nie gestaaf kon word nie. Inligting van ’n groter aantal fasiliteite sal benodig word om verder hierna ondersoek in te stel. Institusionele kapasiteit word benodig om RHIS-prosesses te verbeter en basiese vaardighede vir RHIS-verwante take te verseker. Op langtermynvlak moet daar ook gekyk word na probleme wat lei tot laë slaagsyfers in syfervaardighede in hoërskoolleerders. Verdere ondersoek moet ingestel word om vas te stel watter faktore moontlik akkurate data teweeg kan bring. Dit sluit toesig, opleiding en leierskap, asook die verhoudings tussen menslike en agentskap-verwante aspekte in. Die feit dat optrede op individuele vlak veranderings in institusionele roetines kan aanbring, moet spesifiek na gekyk word. Verdere studies kan help om vas te stel hoe besluite vir beplanning en evaluaring vir hoofprogramme soos PMTCT gemaak word – asook hoe die besluite gemaak word indien hulle nie roetine voorafgaan nie.
AFRIKAANSE OPSOMMING: In die lig van Suid Afrika se MIV/VIGS-pandemie kan ’n ingryping op gesondheidsvlak ’n belangrike rol speel om moeder-na-kind-oordrag (beter bekend as PMTCT) van MIV te voorkom. ’n Inligtingstelsel vir distriksgesondheidsbestuur – die DHMIS – was ontwerp vir die invordering van maandelikse fasiliteitsdata, wat gebruik kan word om die bestuur van openbare gesondheidsdienste en -programme te ondersteun. Die inligtingstelsel self was nog nie omvattend evalueer nie. Hierdie studie het die ervarings van twee gesondheidsdistrikte vergelyk met behulp van die PRISM- (Performance of Routine Information System) raamwerk en -instrumente. Derhalwe het hierdie studie die beskikbaarheid, gehalte en gebruik van proses- en uitsetaanwysers probeer bepaal om die PMTCT-ingrypings te monitor. ’n Vergelykende analitiese en waarnemingstudie is onderneem met behulp van ’n veelvuldige benadering. Die verskillende metodes het ’n selfopname onder gesondheidsinligtingspersoneel ingesluit om hul selfvertroue en bevoegdheid in roetinegesondheidsinligtingstelsel (RHIS)-take te evalueer. Daar was ook ’n assessering van die PMTCT-roetinedata om datagehalte, -volledigheid, -akkuraatheid en -gebruik te beoordeel.’n Fasiliteitsopname oor RHIS-prosesse en –hulpbronne was ook gedoen. Ander navorsingsmetodes het diepte-onderhoude met 22 sleutelpersone ingesluit, sowel as waarnemings in gesondheidsfasiliteite. Data is van 182 gesondheidsinligtingpersoneel van die 57 gesondheidsfasiliteite in ’n geriefsteekproef van twee gesondheidsdistrikte ingesamel. Deskriptiewe statistiek, χ2-toetsing, korrelasie en veelvoudige regressie is met behulp van STATA® weergawe 13 ontleed. ʼn Algemene induktiewe benadering is ook gevolg om die kwalitatiewe data te ontleed. Die studie toon dat menslike faktore ’n impak op datagehalte en -inligting kan hê, met ’n gemiddelde akkuraatheidsyfer van 51% van beide die register en roetine maandelikse verslae. Die akkuraatheid van die maandelikse verslae en RHIS databasis is 84%, wat aandui dat akkuraatheid slegs toegepas word indien inligting uit die staanspoor korrek aangeteken word. Die impak van menslike hulpbronafaktore was beklemtoon toe daar bevind was dat hoewel 69% van RHIS-dataverwerkers vertroue getoon het in die gebruik van RHIS-verwante take, slegs 30% wel bevoeg was om die werk te doen. Opvoeding was grootliks geassosieer met bevoegdheid, wat moontlik voorstel dat sekere vlakke van opvoeding benodig word vir spesifieke RHIS-bevoegdhede. Minsten drie jaar tersiêre opleiding word aanbebeel. Motivering was nie met Stellenbosch University https://scholar.sun.ac.za vi bevoegdheid geklassifeer nie. Die studie het bevind dat daar te min aandag aan datagehalte en –analise gegee word in fasiliteite. Oor die algemeen was daar nie ’n ordentlike kultuur van inligtinggebruik nie, a.g.v. die feit dat daar nie vertroue in die data was nie. Terselftertyd was program- en fasiliteitbestuurders nie bevoeg om inligting te analiseer en ontleed nie. Ons het verskille in die akkuraatheid van data opgetel wat deur organisasie-hoofde gedoen was. Meervoudige analise en kwalitatiewe informasie stel voor dat terugvoering ’n belangrike deel van die proses moet wees om kwaliteit te verseker. Hoewel die PRISM-raamwerk saamgestel was uit ’n multi-dissiplinêre bewyslewering, kon hierdie studie sommige van die interne voorneme valideer, maar daar was aspekte wat nie gestaaf kon word nie. Inligting van ’n groter aantal fasiliteite sal benodig word om verder hierna ondersoek in te stel. Institusionele kapasiteit word benodig om RHIS-prosesses te verbeter en basiese vaardighede vir RHIS-verwante take te verseker. Op langtermynvlak moet daar ook gekyk word na probleme wat lei tot laë slaagsyfers in syfervaardighede in hoërskoolleerders. Verdere ondersoek moet ingestel word om vas te stel watter faktore moontlik akkurate data teweeg kan bring. Dit sluit toesig, opleiding en leierskap, asook die verhoudings tussen menslike en agentskap-verwante aspekte in. Die feit dat optrede op individuele vlak veranderings in institusionele roetines kan aanbring, moet spesifiek na gekyk word. Verdere studies kan help om vas te stel hoe besluite vir beplanning en evaluaring vir hoofprogramme soos PMTCT gemaak word – asook hoe die besluite gemaak word indien hulle nie roetine voorafgaan nie.
Description
Thesis (PhD)--Stellenbosch University, 2015.
Keywords
Prevention of Mother-to-Child Transmission (PMTCT) -- South Africa -- Western Cape, Prevention of Mother-to-Child Transmission (PMTCT) -- South Africa -- KwaZulu-Natal, District Health Management Information System (DHMIS), Performance of Routine Information System Management (PRISM), HIV infections -- South Africa -- Western Cape, HIV infections -- South Africa -- KwaZulu-Natal, Data accuracy, UCTD, HIV infections -- Transmission -- South Africa -- Western Cape -- Prevention, HIV infections -- Transmission -- South Africa -- KwaZulu-Natal -- Prevention