An investigation into the exit level assessment of the clinical competence of medical graduates for the Sub-Saharan African context
Date
2017-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY : Assessment plays a major role in the process of medical education and is an essential component of any medical curriculum. In order to allow judgements to be made on the competence of students, the quality of assessment methods needs to be assured. As exit-level assessments are used for licensing and certification purposes, they are regarded as “high-stakes” in nature, with significant implications for the student, the curriculum, the institution and the public.
This study investigated how valid exit-level assessment practices are in determining the clinical competence of medical graduates for selected health-related issues, with the focus on selected medical schools in Sub-Saharan Africa where there are resource constraints and a high burden of disease. It was warranted in light of the paucity of published information about assessment practices and factors that could influence the decisions that are made in exit level assessment in Sub-Saharan Africa
The study was conducted within a qualitative interpretive paradigm. A range of data-gathering methods were utilised. The research design selected was multiple case studies, with the unit of analysis the exit-level assessment practices of undergraduate medical curricula. Three medical schools in Sub-Saharan Africa were purposively selected, and as a proxy for the entire curriculum, the clinical disciplines of Obstetrics & Gynaecology and Paediatrics were specifically chosen. Data sources included document analysis, the observation of exit level assessments, and individual and group interviews with faculty involved in exit level assessments. The audio-recorded interviews were transcribed and inductive thematic analysis was carried out. Data from documents were mapped on Excel spreadsheets and an observation schedule was used to collect data during observation of actual clinical assessments. Two analytical tools, Miller’s ‘pyramid’ (1990) and Disability Adjusted Life Years (DALYs), were then used for deductive analysis of data obtained from documents and observations.
There were a number of findings of note. A selection of assessment methods were used at the three study sites. Although assessment question content was appropriate and focussed on relevant contextual health-related issues, the evidence gathered through current assessment practices is insufficient to allow accurate judgements to be made about the clinical competence of the students. DALYs as an analytical tool has the potential to contribute to a process of blueprinting, but its limitations in its use with the non-disease based curriculum have been highlighted. Examiners were key players involved in exit-level assessment and have considerable influence on assessment practices. However, their lack of understanding of the basic concept of assessment suggests a need for faculty development to raise the level of assessment literacy. The context within which assessment occurs and institutional cultures also influences assessment practices.
This study has provided insights into exit level assessment practices taking place in a resource-constrained context such as Sub-Saharan Africa. It is envisaged that this research will add to the body of knowledge and that it will inform assessment practices going forward, as well as potentially informing curriculum design.
AFRIKAANSE OPSOMMING : Assessering speel ’n uiters belangrike rol gedurende mediese onderrig en is ’n noodsaaklike komponent van enige mediese kurrikulum. Ten einde uitspraak te kan lewer oor die vaardigheid van studente, is dit noodsaaklik dat die kwaliteit van die assesseringsmetodes verseker word. Aangesien uittreevlak-assesserings gebruik word vir lisensiërings- en sertifiseringsdoeleindes, word hulle as inherent uiters belangrik beskou, met belangrike gevolge vir die student, die kurrikulum, die inrigting en die gemeenskap. Hierdie studie het ondersoek ingestel na die geldigheid van uittreevlak-assesseringspraktyke in die vasstelling van die kliniese vaardigheid van mediese graduandi vir spesifieke gesondheidsverwante probleme. Die fokus is op geselekteerde mediese skole in sub-Sahara Afrika waar daar beperkte hulpbronne en ’n hoë siektelas is. Die studie is geregverdig in die lig van die gebrek aan gepubliseerde inligting oor assesseringspraktyke en faktore wat die besluite kan beïnvloed wat geneem word in uittreevlak-assesserings in sub-Sahara Afrika. Die studie is uitgevoer binne 'n kwalitatiewe interpretatiewe paradigma. ’n Wye verskeidenheid data-insamelingsmetodes is gebruik. Die navorsingsontwerp wat gekies is, was veelvuldige gevalle-studies. Die analise-eenheid was die uittreevlak-assesseringspraktyke van voorgraadse mediese kurrikula. Drie mediese skole in sub-Sahara Afrika is doelbewus gekies, terwyl die kliniese dissiplines van Verloskunde & Ginekologie, en Pediatrie gekies is as verteenwoordigend van die hele kurrikulum. Databronne sluit in: dokument-analise; waarneming van uittreevlak-assesserings, asook individuele en fokusgroep-onderhoude met die betrokke fakulteite in die uittreevlak-assesserings. Oudio-opnames van onderhoude is getranskribeer, waarna induktiewe tematiese analise gevolg het. Data uit dokumente is op Excel-sigblaaie aangeteken en ʼn waarnemingskedule is gebruik om data te versamel tydens die waarneming van werklike kliniese assesserings. Twee analitiese instrumente, naamlik Miller se “piramide” (1990) en Disability Adjusted Life Years (DALYs)/(Ongeskiktheids-aanpassende lewensjare), is gebruik vir die deduktiewe analise van die data wat verkry is uit dokumente en waarnemings. Daar was ’n aantal belangwekkende bevindinge. ’n Seleksie van assesseringsmetodes is gebruik by die drie mediese skole waar die studie plaasgevind het. Alhoewel die inhoud van die assesseringsvrae gepas was en gefokus het op relevante, kontekstuele gesondheidsverwante sake, is die inligting wat deur die huidige assesseringspraktyke verkry is, onvoldoende om ’n akkurate assessering van die kliniese vaardighede van die studente te maak. DALYs het die potensiaal as ’n analitiese instrument om by te dra tot die proses om ’n bloudruk te verkry, maar die tekortkoming in die gebruik daarvan in die nie-siekte verwante komponente van die kurrikulum is beklemtoon. Eksaminatore is sleutel-rolspelers wat betrokke is by uittreevlak-assesserings en het ’n beduidende invloed op assesseringspraktyke. Die gebrek aan begrip van die basiese konsep van assessering dui egter op die behoefte aan fakulteitsontwikkeling om die vlak van assesserings-geletterdheid te verhoog. Die konteks waarbinne assessering plaasvind en institusionele kulture beïnvloed ook assesseringspraktyke. Hierdie studie het insig gegee in die uittreevlak-assesseringspraktyke wat in sub-Sahara Afrika, met sy beperkte hulpbronne, plaasvind. Daar word in die vooruitsig gestel dat hierdie navorsing sal bydra tot die kennisbasis wat assesseringspraktyke, en moontlik ook kurrikulum-ontwerp, in die toekoms sal toelig.
AFRIKAANSE OPSOMMING : Assessering speel ’n uiters belangrike rol gedurende mediese onderrig en is ’n noodsaaklike komponent van enige mediese kurrikulum. Ten einde uitspraak te kan lewer oor die vaardigheid van studente, is dit noodsaaklik dat die kwaliteit van die assesseringsmetodes verseker word. Aangesien uittreevlak-assesserings gebruik word vir lisensiërings- en sertifiseringsdoeleindes, word hulle as inherent uiters belangrik beskou, met belangrike gevolge vir die student, die kurrikulum, die inrigting en die gemeenskap. Hierdie studie het ondersoek ingestel na die geldigheid van uittreevlak-assesseringspraktyke in die vasstelling van die kliniese vaardigheid van mediese graduandi vir spesifieke gesondheidsverwante probleme. Die fokus is op geselekteerde mediese skole in sub-Sahara Afrika waar daar beperkte hulpbronne en ’n hoë siektelas is. Die studie is geregverdig in die lig van die gebrek aan gepubliseerde inligting oor assesseringspraktyke en faktore wat die besluite kan beïnvloed wat geneem word in uittreevlak-assesserings in sub-Sahara Afrika. Die studie is uitgevoer binne 'n kwalitatiewe interpretatiewe paradigma. ’n Wye verskeidenheid data-insamelingsmetodes is gebruik. Die navorsingsontwerp wat gekies is, was veelvuldige gevalle-studies. Die analise-eenheid was die uittreevlak-assesseringspraktyke van voorgraadse mediese kurrikula. Drie mediese skole in sub-Sahara Afrika is doelbewus gekies, terwyl die kliniese dissiplines van Verloskunde & Ginekologie, en Pediatrie gekies is as verteenwoordigend van die hele kurrikulum. Databronne sluit in: dokument-analise; waarneming van uittreevlak-assesserings, asook individuele en fokusgroep-onderhoude met die betrokke fakulteite in die uittreevlak-assesserings. Oudio-opnames van onderhoude is getranskribeer, waarna induktiewe tematiese analise gevolg het. Data uit dokumente is op Excel-sigblaaie aangeteken en ʼn waarnemingskedule is gebruik om data te versamel tydens die waarneming van werklike kliniese assesserings. Twee analitiese instrumente, naamlik Miller se “piramide” (1990) en Disability Adjusted Life Years (DALYs)/(Ongeskiktheids-aanpassende lewensjare), is gebruik vir die deduktiewe analise van die data wat verkry is uit dokumente en waarnemings. Daar was ’n aantal belangwekkende bevindinge. ’n Seleksie van assesseringsmetodes is gebruik by die drie mediese skole waar die studie plaasgevind het. Alhoewel die inhoud van die assesseringsvrae gepas was en gefokus het op relevante, kontekstuele gesondheidsverwante sake, is die inligting wat deur die huidige assesseringspraktyke verkry is, onvoldoende om ’n akkurate assessering van die kliniese vaardighede van die studente te maak. DALYs het die potensiaal as ’n analitiese instrument om by te dra tot die proses om ’n bloudruk te verkry, maar die tekortkoming in die gebruik daarvan in die nie-siekte verwante komponente van die kurrikulum is beklemtoon. Eksaminatore is sleutel-rolspelers wat betrokke is by uittreevlak-assesserings en het ’n beduidende invloed op assesseringspraktyke. Die gebrek aan begrip van die basiese konsep van assessering dui egter op die behoefte aan fakulteitsontwikkeling om die vlak van assesserings-geletterdheid te verhoog. Die konteks waarbinne assessering plaasvind en institusionele kulture beïnvloed ook assesseringspraktyke. Hierdie studie het insig gegee in die uittreevlak-assesseringspraktyke wat in sub-Sahara Afrika, met sy beperkte hulpbronne, plaasvind. Daar word in die vooruitsig gestel dat hierdie navorsing sal bydra tot die kennisbasis wat assesseringspraktyke, en moontlik ook kurrikulum-ontwerp, in die toekoms sal toelig.
Description
Thesis (PhD)--Stellenbosch University, 2017.
Keywords
Medicine -- Study and teaching -- Africa, Sub-Saharan, College graduates -- Knowledge and learning -- Africa, Sub-Saharan, Clinical medicine -- Study and teaching -- -- Africa, Sub-Saharan, UCTD