A model to promote the effective use of evaluations in the South African agricultural sector
Date
2022-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY: The study that is the focus of this dissertation assessed the applicability of Patton’s utilisation-focused evaluation (UFE) approach to the South African agricultural sector in order to develop a model for the effective utilisation of evaluations in this sector. The agricultural sector was selected because, compared to most other sectors, it actively conducts evaluations, owing to its significant contribution to socioeconomic development and food security. Focus on the UFE approach is premised on the fact that it offers a detailed and practical approach to conducting evaluations with a focus on use. Moreover, the literature reveals strong advocacy of this approach. Central to the study are the following questions: (a) Why are evaluations not used? (b) What can be done to ensure that evaluations are used? An analysis of the UFE approach and the practice of evaluations in South Africa revealed that while UFE remains a useful framework to enhance the use of evaluations, it requires adaptation to context, policies and practice in the agricultural sector. To gain deeper understanding and enhance the adapted model, an empirical study on the practice of evaluations in the agricultural sector was conducted. This was done through a comprehensive analysis of 10 purposefully selected evaluations and semi-structured interviews with key role players. The empirical study found that evaluations are used inadequately, partially and anecdotally in the agricultural sector, with the exception of the Western Cape Department of Agriculture. Barriers to use in a departmental setting were identified as negative attitudes to evaluation; a lack of ownership, leadership and accountability on the part of programme managers; weak evaluation support structures; inadequate use of national evaluation systems; and a lack of integration of evaluation systems with other government systems, such as planning and budgeting. Barriers related to the evaluation process included a lack of the following: no programme theory of change; lack of programme data; inadequate evaluation questions; irrelevant evaluation recommendations; subjectivity; and too many recommendations. The study led to the following recommendations to promote the use of evaluations:
(a)Change the departmental evaluation culture
(b)Institutionalise an accountability mechanism
(c)Integrate evaluations with other systems of government
(d)Strengthen evaluation support structures
(e)Enforce the reporting of management improvement plans (MIPs)
(f)Use external UFE experts to support evaluation planning
(g)Clearly define primary intended users
Apart from contributing to an under-researched area in the field of evaluations, in general, and the practice of evaluations in South Africa, in particular, the study has led to the proposal of an important strategy for promoting the use of evaluations in the South African agricultural sector. Its key contribution has been the adaptation of Patton’s UFE approach to provide a model for promoting the effective utilisation of evaluations in the South African agricultural sector. The 17 steps of the UFE approach have been adapted into 5 phases by removing steps that are not applicable, combining some steps and adding certain elements that are specific to the South African context. Principally the model entails an evaluation process that (a) is undertaken in a 5-phased process; (b) is supported by structural, accountability and system integration mechanisms; (c) is carried out in a receptive departmental evaluation culture.
AFRIKAANSE OPSOMMING: Die studie wat die fokus van hierdie verhandeling is, het die toepaslikheid van Patton se aanwendingsgerigte evaluasie (AGE) -benadering tot die Suid-Afrikaanse landbousektor geassesseer ten einde ‘n model vir die effektiewe aanwending van evaluasies in hierdie sektor te ontwikkel. Die landbousektor is gekies omdat dit, vergeleke met die meeste ander sektore, aktief evaluasies uitvoer, vanweë die beduidende bydrae daarvan tot sosio-ekonomiese ontwikkeling en voedselsekerheid. Fokus op die AGE-benadering veronderstel die feit dat dit ‘n gedetailleerde en praktiese benadering tot die uitvoering van evaluasies met ‘n fokus op gebruik bied. Boonop openbaar die literatuur sterk voorspraak vir hierdie benadering. Sentraal tot die studie is die volgende vrae: (a) Waarom word evaluasies nie gebruik nie? (b) Wat kan gedoen word om te verseker dat evaluasies gebruik word? ‘n Ontleding van die AGE-benadering en die praktyk van evaluasies in Suid-Afrika het aan die lig gebring dat terwyl AGE ‘n bruikbare raamwerk bly om die gebruik van evaluasies te bevorder, dit aanpassing by die konteks, beleide en praktyk in die landbousektor vereis. Om groter begrip te verkry en die aangepaste model te versterk, is ‘n empiriese studie oor die praktyk van evaluasies in die landbousektor uitgevoer. Dit is gedoen by wyse van ‘n omvattende ontleding van 10 doelgerig geselekteerde evaluasies en semi-gestruktureerde onderhoude met sleutel rolspelers. Die empiriese studie het bevind dat evaluasies ontoereikend, gedeeltelik en anekdoties in die landbousektor gebruik is, met die uitsondering van die Wes-Kaapse Departement van Landbou. Struikelblokke by gebruik in ‘n departementele omgewing is geïdentifiseer as negatiewe houdings tot evaluasie; ‘n gebrek aan eienaarskap, leierskap en aanspreeklikheid aan die kant van programbestuurders; swak evaluasie-ondersteuningstrukture; onvoldoende gebruik van nasionale evaluasiestelsels; en ‘n gebrek aan integrasie van evaluasiestelsels met ander regeringstelsels, soos beplanning en begroting. Struikelblokke verwant aan die evaluasieproses het ‘n gebrek aan die volgende ingesluit: geen program-teorie van verandering nie; gebrek aan programdata; onvoldoende evaluasievrae; ontoepaslike evaluasie-aanbevelings; subjektiwiteit; en te veel aanbevelings. Die studie het tot die volgende aanbevelings gelei om die gebruik van evaluasies te bevorder: (a) Verander die departementele evaluasie-kultuur. (b) Institusionaliseer ‘n aanspreeklikheid-meganisme. (c) Integreer evaluasies met ander regeringstelsels. (d) Versterk evaluasie-ondersteuningstrukture. (e) Dwing die rapportering van bestuur-verbeteringsplanne (BVP’e) af. (f) Gebruik eksterne AGE-kundiges om beplanning van evaluasie te ondersteun. (g) Definieer primêre bedoelde gebruikers duidelik. Benewens die bydrae van die studie tot ‘n onder-nagevorste gebied op die terrein van evaluasies in die algemeen en die praktyk van evaluasies in Suid-Afrika in die besonder, het die studie tot die voorstel van ‘n belangrike strategie vir die bevordering van die gebruik van evaluasies in die Suid-Afrikaanse landbousektor gelei. Die sleutelbydrae daarvan was die aanpassing van Patton se AGE-benadering om ‘n model vir die bevordering van die effektiewe aanwending van evaluasies in die Suid-Afrikaanse landbousektor daar te stel. Die 17 stappe van die AGE-benadering is aangepas tot 5 fases deur ontoepaslike stappe te verwyder, sommige stappe te kombineer, en sekere elemente wat spesifiek in die Suid-Afrikaanse konteks is, by te voeg. Hoofsaaklik behels die model ‘n evaluasieproses wat (a) in ‘n proses met 5 fases onderneem word; (b) deur strukturele, aanspreeklikheid- en stelselintegrasie-meganismes ondersteun word; (c) en in ‘n ontvanklike departementele evaluasiekultuur uitgevoer word.
AFRIKAANSE OPSOMMING: Die studie wat die fokus van hierdie verhandeling is, het die toepaslikheid van Patton se aanwendingsgerigte evaluasie (AGE) -benadering tot die Suid-Afrikaanse landbousektor geassesseer ten einde ‘n model vir die effektiewe aanwending van evaluasies in hierdie sektor te ontwikkel. Die landbousektor is gekies omdat dit, vergeleke met die meeste ander sektore, aktief evaluasies uitvoer, vanweë die beduidende bydrae daarvan tot sosio-ekonomiese ontwikkeling en voedselsekerheid. Fokus op die AGE-benadering veronderstel die feit dat dit ‘n gedetailleerde en praktiese benadering tot die uitvoering van evaluasies met ‘n fokus op gebruik bied. Boonop openbaar die literatuur sterk voorspraak vir hierdie benadering. Sentraal tot die studie is die volgende vrae: (a) Waarom word evaluasies nie gebruik nie? (b) Wat kan gedoen word om te verseker dat evaluasies gebruik word? ‘n Ontleding van die AGE-benadering en die praktyk van evaluasies in Suid-Afrika het aan die lig gebring dat terwyl AGE ‘n bruikbare raamwerk bly om die gebruik van evaluasies te bevorder, dit aanpassing by die konteks, beleide en praktyk in die landbousektor vereis. Om groter begrip te verkry en die aangepaste model te versterk, is ‘n empiriese studie oor die praktyk van evaluasies in die landbousektor uitgevoer. Dit is gedoen by wyse van ‘n omvattende ontleding van 10 doelgerig geselekteerde evaluasies en semi-gestruktureerde onderhoude met sleutel rolspelers. Die empiriese studie het bevind dat evaluasies ontoereikend, gedeeltelik en anekdoties in die landbousektor gebruik is, met die uitsondering van die Wes-Kaapse Departement van Landbou. Struikelblokke by gebruik in ‘n departementele omgewing is geïdentifiseer as negatiewe houdings tot evaluasie; ‘n gebrek aan eienaarskap, leierskap en aanspreeklikheid aan die kant van programbestuurders; swak evaluasie-ondersteuningstrukture; onvoldoende gebruik van nasionale evaluasiestelsels; en ‘n gebrek aan integrasie van evaluasiestelsels met ander regeringstelsels, soos beplanning en begroting. Struikelblokke verwant aan die evaluasieproses het ‘n gebrek aan die volgende ingesluit: geen program-teorie van verandering nie; gebrek aan programdata; onvoldoende evaluasievrae; ontoepaslike evaluasie-aanbevelings; subjektiwiteit; en te veel aanbevelings. Die studie het tot die volgende aanbevelings gelei om die gebruik van evaluasies te bevorder: (a) Verander die departementele evaluasie-kultuur. (b) Institusionaliseer ‘n aanspreeklikheid-meganisme. (c) Integreer evaluasies met ander regeringstelsels. (d) Versterk evaluasie-ondersteuningstrukture. (e) Dwing die rapportering van bestuur-verbeteringsplanne (BVP’e) af. (f) Gebruik eksterne AGE-kundiges om beplanning van evaluasie te ondersteun. (g) Definieer primêre bedoelde gebruikers duidelik. Benewens die bydrae van die studie tot ‘n onder-nagevorste gebied op die terrein van evaluasies in die algemeen en die praktyk van evaluasies in Suid-Afrika in die besonder, het die studie tot die voorstel van ‘n belangrike strategie vir die bevordering van die gebruik van evaluasies in die Suid-Afrikaanse landbousektor gelei. Die sleutelbydrae daarvan was die aanpassing van Patton se AGE-benadering om ‘n model vir die bevordering van die effektiewe aanwending van evaluasies in die Suid-Afrikaanse landbousektor daar te stel. Die 17 stappe van die AGE-benadering is aangepas tot 5 fases deur ontoepaslike stappe te verwyder, sommige stappe te kombineer, en sekere elemente wat spesifiek in die Suid-Afrikaanse konteks is, by te voeg. Hoofsaaklik behels die model ‘n evaluasieproses wat (a) in ‘n proses met 5 fases onderneem word; (b) deur strukturele, aanspreeklikheid- en stelselintegrasie-meganismes ondersteun word; (c) en in ‘n ontvanklike departementele evaluasiekultuur uitgevoer word.
Description
Thesis (PhD)--Stellenbosch University, 2022.
Keywords
Evaluation research (Social action programs) -- Use studies, Agricultural industries -- South Africa, Patton, Michael Quinn, Patton's utilisation-focused evaluation, UCTD