Workplace-based assessment of final year students in Paediatric Dentistry at the University of the Western Cape : is it an indication of clinical competence?
Date
2018-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY : Clinical competence is multifaceted and requires the integration of knowledge, skills and attitudes. The clinical environment where patients are treated, provides an opportunity for student assessment of clinical competence in an authentic workplace setting at the ‘does’ level of behaviour.
Final year dental students in the Department of Paediatric Dentistry at the University of the Western Cape are assessed in the clinical environment on a daily basis through multiple clinical evaluations over the course of a year. An additional end-of-module clinical assessment in the form of a single blinded patient case (BPC) is required to decide if students have reached the expected level of clinical competence. Both the reliability and feasibility of this single end-of-module clinical case have been questioned in this setting. The utility of continuous formative WPBA during a course in determining progression gained at the end of a programme is however still being debated in the literature.
This study aimed to determine if the current continuous WPBA results in the Department of Paediatric Dentistry could be used as an indication of clinical competence of final year students at the end of the module. A retrospective, quantitative, cross-sectional study was conducted of all complete assessment records of final year students (2016- 2017) from the Paediatric Dentistry Department at UWC. The characteristics of, and correlation between, the continuous WPBA components were analysed together with an evaluation of the reliability and validity of the assessment results.
On average, students achieved the highest score for the single BPC at the end of the module. Mini-CEX scores changed significantly over time in the 2016 class, but not in the 2017 class. This may be due to changes in departmental assessment practices rather than a true improvement in scores over time. Correlations between the individual WPBA components (average mini-CEX, logbook quota, case presentations) and the final combined paediatric mark were high. The average mini-CEX and case presentation scores were moderately correlated with the single BPC scores. Correlation between the percentage of logbook quota completed and clinical scores were however weak. Due to the low failure rate in this cohort, predictive values for struggling students could not be determined. The continuous formative WPBA practices were found to be both valid and reliable when using Kane’s (2013) and Royal’s (2017) frameworks for analysis.
The continuous formative WPBA practices in the Department of Paediatric Dentistry at the University of the Western Cape have proven to be feasible as it is integrated in the daily routine patient care provided in the paediatric dental clinics. The findings of this study suggests that the continuous formative WPBA scores are an indication of clinical competence of final year dental students at UWC and could be used to decide if students have reached the expected level of clinical competence in this module. The addition of the single BPC could be reconsidered due to its feasibility and reliability concerns. Further prospective research is however necessary to determine the reliability and validity of the continuous formative WPBA practices.
To our knowledge, this is the first study to evaluate the utility of continuous formative WPBA in making pass/fail decisions in the South African context.
AFRIKAANSE OPSOMMING : Kliniese bevoegdheid is veelsydig en vereis die integrasie van kennis, vaardighede en houdings. Die kliniese omgewing waar pasiënte behandel word, bied 'n geleentheid vir studentevaluering van kliniese vaardighede in 'n egte werkpleksomgewing op die 'doen'-vlak van gedrag. Finalejaar tandheelkundige studente in die Departement Pediatriese Tandheelkunde aan die Universiteit van Wes-Kaap word daagliks in die kliniese omgewing geassesseer deur middel van verskeie kliniese evaluerings oor die loop van 'n jaar. 'n Bykomende kliniese evaluering aan die einde van die module in die vorm van 'n enkel, blinde pasiëntgeval (BPG) word vereis om te besluit of studente die verwagte vlak van kliniese vaardigheid bereik het. Beide die betroubaarheid en haalbaarheid van die enkel einde-van-module kliniese geval is bevraagteken in hierdie omgewing. Die nut van deurlopende formatiewe WPBA tydens 'n kursus om progressie te bepaal wat aan die einde van 'n program behaal word, word egter nog in die literatuur bespreek. Hierdie studie het gepoog om vas te stel of die huidige deurlopende WPBA-uitslae in die Departement Pediatriese Tandheelkunde gebruik kan word as 'n aanduiding van kliniese vaardigheid van finalejaarstudente. 'n Terugwerkende, kwantitatiewe, deursnitstudie is uitgevoer van alle volledige assesseringsrekords van finalejaarstudente (2016-2017) van die Departement Pediatriese Tandheelkundige by UWK. Die kenmerke van, en die verband tussen die deurlopende WPBA komponente, is saam met 'n evaluering van die betroubaarheid en geldigheid van die assesseringsresultate geanaliseer. Aan die einde van die module het studente oor die algemeen die hoogste telling behaal vir die enkele BPG. Mini-CEX tellings het aansienlik verander in die 2016-klas, maar nie in die 2017-klas nie. Dit kan wees as gevolg van veranderinge in departementeleassesseringspraktyke eerder as 'n ware verbetering in tellings oor tyd. Korrelasies tussen die individuele WPBA komponente (gemiddelde mini-CEX, kwota, gevallestudies) en die finale gekombineerde pediatriese punt was hoog. Die gemiddelde mini-CEX- en gevallestudie tellings was matig gekorreleer met die enkele BPG tellings. Korrelasie tussen die persentasie kwota voltooi en kliniese tellings was egter swak. As gevolg van die lae druipkoers in hierdie kohort, kon voorspellende waardes vir sukkelende studente nie bepaal word nie. Die deurlopende formatiewe WPBA-praktyke is beide geldig en betroubaar volgens die raamwerke van Kane (2013) en Royal (2017) wat vir analise doeleindes gebruik is. Die deurlopende formatiewe WPBA-praktyke in die Departement Pediatriese Tandheelkunde aan die Universiteit van Wes-Kaap is haalbaar omdat dit geïntegreer is in die daaglikse roetine pasiëntesorg wat in die pediatriese tandheelkunde klinieke plaasvind. Die bevindings van hierdie studie dui aan dat die deurlopende formatiewe WPBA tellings 'n aanduiding is van die kliniese vaardigheid van die finalejaar tandheelkundige studente by die UWK en kan gebruik word om te besluit of studente die verwagte vlak van kliniese vaardigheid in hierdie module bereik het. Weens uitdagings met uitvoerbaarheid en betroubaarheid, kan die enkele BPG heroorweeg word. Verdere voornemende navorsing is egter nodig om die betroubaarheid en geldigheid van die deurlopende formatiewe WPBA praktyke te bepaal. Volgens ons kennis, is hierdie die eerste studie in die Suid-Afrikaanse konteks wat die waarde van deurlopende formatiewe WPBA evalueer om slaag/druip besluite te kan neem.
AFRIKAANSE OPSOMMING : Kliniese bevoegdheid is veelsydig en vereis die integrasie van kennis, vaardighede en houdings. Die kliniese omgewing waar pasiënte behandel word, bied 'n geleentheid vir studentevaluering van kliniese vaardighede in 'n egte werkpleksomgewing op die 'doen'-vlak van gedrag. Finalejaar tandheelkundige studente in die Departement Pediatriese Tandheelkunde aan die Universiteit van Wes-Kaap word daagliks in die kliniese omgewing geassesseer deur middel van verskeie kliniese evaluerings oor die loop van 'n jaar. 'n Bykomende kliniese evaluering aan die einde van die module in die vorm van 'n enkel, blinde pasiëntgeval (BPG) word vereis om te besluit of studente die verwagte vlak van kliniese vaardigheid bereik het. Beide die betroubaarheid en haalbaarheid van die enkel einde-van-module kliniese geval is bevraagteken in hierdie omgewing. Die nut van deurlopende formatiewe WPBA tydens 'n kursus om progressie te bepaal wat aan die einde van 'n program behaal word, word egter nog in die literatuur bespreek. Hierdie studie het gepoog om vas te stel of die huidige deurlopende WPBA-uitslae in die Departement Pediatriese Tandheelkunde gebruik kan word as 'n aanduiding van kliniese vaardigheid van finalejaarstudente. 'n Terugwerkende, kwantitatiewe, deursnitstudie is uitgevoer van alle volledige assesseringsrekords van finalejaarstudente (2016-2017) van die Departement Pediatriese Tandheelkundige by UWK. Die kenmerke van, en die verband tussen die deurlopende WPBA komponente, is saam met 'n evaluering van die betroubaarheid en geldigheid van die assesseringsresultate geanaliseer. Aan die einde van die module het studente oor die algemeen die hoogste telling behaal vir die enkele BPG. Mini-CEX tellings het aansienlik verander in die 2016-klas, maar nie in die 2017-klas nie. Dit kan wees as gevolg van veranderinge in departementeleassesseringspraktyke eerder as 'n ware verbetering in tellings oor tyd. Korrelasies tussen die individuele WPBA komponente (gemiddelde mini-CEX, kwota, gevallestudies) en die finale gekombineerde pediatriese punt was hoog. Die gemiddelde mini-CEX- en gevallestudie tellings was matig gekorreleer met die enkele BPG tellings. Korrelasie tussen die persentasie kwota voltooi en kliniese tellings was egter swak. As gevolg van die lae druipkoers in hierdie kohort, kon voorspellende waardes vir sukkelende studente nie bepaal word nie. Die deurlopende formatiewe WPBA-praktyke is beide geldig en betroubaar volgens die raamwerke van Kane (2013) en Royal (2017) wat vir analise doeleindes gebruik is. Die deurlopende formatiewe WPBA-praktyke in die Departement Pediatriese Tandheelkunde aan die Universiteit van Wes-Kaap is haalbaar omdat dit geïntegreer is in die daaglikse roetine pasiëntesorg wat in die pediatriese tandheelkunde klinieke plaasvind. Die bevindings van hierdie studie dui aan dat die deurlopende formatiewe WPBA tellings 'n aanduiding is van die kliniese vaardigheid van die finalejaar tandheelkundige studente by die UWK en kan gebruik word om te besluit of studente die verwagte vlak van kliniese vaardigheid in hierdie module bereik het. Weens uitdagings met uitvoerbaarheid en betroubaarheid, kan die enkele BPG heroorweeg word. Verdere voornemende navorsing is egter nodig om die betroubaarheid en geldigheid van die deurlopende formatiewe WPBA praktyke te bepaal. Volgens ons kennis, is hierdie die eerste studie in die Suid-Afrikaanse konteks wat die waarde van deurlopende formatiewe WPBA evalueer om slaag/druip besluite te kan neem.
Description
Thesis (MPhil)--Stellenbosch University, 2018.
Keywords
Dental students -- University of the Western Cape -- Assessment, Dentistry -- Practice -- University of the Western Cape, Clinical competence, UCTD