The potential value of the Realist Evaluation Method in programme impact evaluations in South Africa
Date
2017-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY : In the context of the development of a coherent country-driven monitoring and evaluation (M&E) system in the South African public sector underpinned by the policy outlining the Government-Wide Monitoring and Evaluation System (GWMES), this study explored the methodological approaches
applied in impact evaluations. With the field of evaluation theory still booming internationally, there are no prescribed guidelines as to which impact evaluation method, employed in a specific context and under which conditions, will render the most useful findings for policy-makers. Therefore,
clarifying a suitable methodological approach for impact evaluation of social programmes is critical
in South Africa. Towards these aims, this study explored appropriate methodological approaches in
informing better programme impact evaluations through the exploration of the potential value of Realist Evaluation Method (REM) on impact evaluations within the South African public sector. The research had a three-pronged approach. First, a comprehensive literature review was conducted to gain an in-depth understanding of the REM through a detailed review and analysis of the related literature, as well as to assess the current trends in research and application of REM approach in
conducting impact evaluations. Secondly, case study micro-analyses were completed to investigate the methodologies and approaches used in past programme impact evaluations as well as to establish the utility value of the evaluation results in offering new insights of what works, for whom,
under what conditions and in what respects. Finally, in-depth interviews with policy decision-makers,
commissioners and implementers of evaluations were completed to further ascertain the utility value of evaluation results as well as establish the applicability of the REM as a methodological approach in conducting programme impact evaluations in the South African public sector. The overall findings provided evidence that initial well-defined and coherent programme theory as well as programme causality on commissioned impact evaluations are largely absent. The research
also found limited contextual understanding of the programmes’ intersection with the broader
complex social system. This offered policy-makers limited insights in terms of understanding for whom a social programme will work most effectively or not and the reasons thereof. Therefore, this limited explanatory focus resulted in impact evaluations that had a 'black box' phenomenon, as the key change mechanism in programmes were unknown. It was concluded that REM has a potential value to contribute to programme impact evaluations that offer new insights regarding what works, for whom, under what conditions and in what respects. However, there are potential constraints in its application and these should be well considered
against the benefits that can be derived from such evaluations. A key contribution of the study is an assessment model, applicable to the South African context, that could be applied to determine, from a Realist Evaluation lens, the value of an evaluation to different policy-makers’ needs and can be applied to assess the limitations of other impact evaluation
methods.
AFRIKAANSE OPSOMMING : In die konteks van die ontwikkeling van 'n samehangende landgedrewe monitering- en evalueringstelsel (M&E) in die Suid-Afrikaanse openbare sektor, ondersteun deur die beleid wat die regeringswye monitering- en evalueringstelsel (GWMES) uitstip, het hierdie studie die metodologiese benaderings wat op impak-evaluerings toegepas word, ondersoek. Aangesien die studieveld oor evalueringsteorieë internasionaal steeds groei, is daar geen voorgeskrewe riglyne nie oor watter impak-evaluasie metode, in watter spesifieke konteks en onder watter omstandighede, die mees bruikbare bevindinge vir beleidmakers sal lewer. Daarom is dit van kritieke belang om 'n geskikte metodologiese benadering vir impak-evaluering van maatskaplike programme in Suid- Afrika te ontwikkel. Met hierdie doelwitte, het die studie toepaslike metodologiese benaderings ondersoek ten einde beter program impak-evaluerings te ontwikkel deur die verkenning van die potensiële waarde van die Realistiese Evalueringsmetode (REM) op impak-evaluerings binne die Suid-Afrikaanse openbare sektor. Die navorsing het 'n drieledige benadering gevolg. Eerstens, is 'n omvattende literatuuroorsig gedoen om 'n in-diepte begrip van die REM te kry deur middel van 'n gedetailleerde oorsig en ontleding van die verbandhoudende literatuur asook om die huidige tendense in navorsing en toepassing van REM benadering in die uitvoering van impak-evaluerings te beoordeel. Tweedens is ‘n mikro-ontleding van die gevallestudies voltooi om die metodes en benaderings te ondersoek wat in die verlede gebruik is vir program impak-evaluerings. Die gebruikswaarde van die evalueringsresultate is ook bepaal ten opsigte van nuwe insigte oor wat werk, vir wie, onder watter omstandighede en in watter opsigte. Laastens is in-diepte onderhoude met beleidmakers, kommissarisse en implementeerders van evaluerings gevoer om verdere inligting te bekom oor die gebruikswaarde van evalueringsresultate, sowel as die toepaslikheid van die REM as 'n metodologiese benadering in die uitvoer van program impak-evaluerings in die Suid-Afrikaanse openbare sektor. Die algehele bevindinge het bewys gelewer dat aanvanklike goed-gedefinieerde en samehangende programteorie sowel as program oorsaaklikheid op impak-evaluerings grootliks afwesig is. Die navorsing het ook gelei tot beperkte kontekstuele begrip van die programme se interaksie met die breër komplekse sosiale sisteem. Hierdie bevindings bied beleidmakers beperkte insig in terme van begrip vir wie 'n sosiale program die effektiefste sal werk of nie, en die redes daarvoor. Daarom, het hierdie beperkte verklarende fokus gelei tot impak-evaluerings wat 'n "swart boks" verskynsel gehad het, aangesien die sleutel veranderingsmeganisme in die programme onbekend was. Die gevolgtrekking is gemaak dat REM wel potensiële waarde kan bydra tot program impakevaluerings ten opsigte van nuwe insigte oor wat werk, vir wie, onder watter omstandighede en in watter opsigte. Daar is egter potensiële beperkinge in die toepassing daarvan en dit moet goed oorweeg word teen die voordele wat verkry kan word uit sodanige evaluerings. Een belangrike bydrae van die studie is 'n assesseringsmodel, van toepassing in die Suid-Afrikaanse konteks, wat toegepas kan word om vas te stel, uit 'n Realistiese Evaluering lens, wat die waarde van 'n evaluering sal wees vir die behoeftes van verskillende beleidmakers en toegepas kan word om die beperkinge te bepaal van ander impak-evalueringsmetodes.
AFRIKAANSE OPSOMMING : In die konteks van die ontwikkeling van 'n samehangende landgedrewe monitering- en evalueringstelsel (M&E) in die Suid-Afrikaanse openbare sektor, ondersteun deur die beleid wat die regeringswye monitering- en evalueringstelsel (GWMES) uitstip, het hierdie studie die metodologiese benaderings wat op impak-evaluerings toegepas word, ondersoek. Aangesien die studieveld oor evalueringsteorieë internasionaal steeds groei, is daar geen voorgeskrewe riglyne nie oor watter impak-evaluasie metode, in watter spesifieke konteks en onder watter omstandighede, die mees bruikbare bevindinge vir beleidmakers sal lewer. Daarom is dit van kritieke belang om 'n geskikte metodologiese benadering vir impak-evaluering van maatskaplike programme in Suid- Afrika te ontwikkel. Met hierdie doelwitte, het die studie toepaslike metodologiese benaderings ondersoek ten einde beter program impak-evaluerings te ontwikkel deur die verkenning van die potensiële waarde van die Realistiese Evalueringsmetode (REM) op impak-evaluerings binne die Suid-Afrikaanse openbare sektor. Die navorsing het 'n drieledige benadering gevolg. Eerstens, is 'n omvattende literatuuroorsig gedoen om 'n in-diepte begrip van die REM te kry deur middel van 'n gedetailleerde oorsig en ontleding van die verbandhoudende literatuur asook om die huidige tendense in navorsing en toepassing van REM benadering in die uitvoering van impak-evaluerings te beoordeel. Tweedens is ‘n mikro-ontleding van die gevallestudies voltooi om die metodes en benaderings te ondersoek wat in die verlede gebruik is vir program impak-evaluerings. Die gebruikswaarde van die evalueringsresultate is ook bepaal ten opsigte van nuwe insigte oor wat werk, vir wie, onder watter omstandighede en in watter opsigte. Laastens is in-diepte onderhoude met beleidmakers, kommissarisse en implementeerders van evaluerings gevoer om verdere inligting te bekom oor die gebruikswaarde van evalueringsresultate, sowel as die toepaslikheid van die REM as 'n metodologiese benadering in die uitvoer van program impak-evaluerings in die Suid-Afrikaanse openbare sektor. Die algehele bevindinge het bewys gelewer dat aanvanklike goed-gedefinieerde en samehangende programteorie sowel as program oorsaaklikheid op impak-evaluerings grootliks afwesig is. Die navorsing het ook gelei tot beperkte kontekstuele begrip van die programme se interaksie met die breër komplekse sosiale sisteem. Hierdie bevindings bied beleidmakers beperkte insig in terme van begrip vir wie 'n sosiale program die effektiefste sal werk of nie, en die redes daarvoor. Daarom, het hierdie beperkte verklarende fokus gelei tot impak-evaluerings wat 'n "swart boks" verskynsel gehad het, aangesien die sleutel veranderingsmeganisme in die programme onbekend was. Die gevolgtrekking is gemaak dat REM wel potensiële waarde kan bydra tot program impakevaluerings ten opsigte van nuwe insigte oor wat werk, vir wie, onder watter omstandighede en in watter opsigte. Daar is egter potensiële beperkinge in die toepassing daarvan en dit moet goed oorweeg word teen die voordele wat verkry kan word uit sodanige evaluerings. Een belangrike bydrae van die studie is 'n assesseringsmodel, van toepassing in die Suid-Afrikaanse konteks, wat toegepas kan word om vas te stel, uit 'n Realistiese Evaluering lens, wat die waarde van 'n evaluering sal wees vir die behoeftes van verskillende beleidmakers en toegepas kan word om die beperkinge te bepaal van ander impak-evalueringsmetodes.
Description
Thesis (PhD)--Stellenbosch University, 2017.
Keywords
Impact evaluation, Public administration -- Evaluation --
South Africa, Evaluation research (Social action programs) -- South Africa, Realist evaluation -- South Africa, Policy, Government -- Evaluation -- South Africa, UCTD