Expert evaluation of an on-line course in clinical immunology
Date
2014-12
Authors
Liebrich, Walter
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This assignment describes an evaluation by experts of an on-line course in Clinical Immunology
offered to medical registrars and scientists as a supplement to a practical rotation.
Because of a lack of agreement on what constitutes quality in e-learning and to avoid the customary
focus on usability evaluation, an open-ended, interpretivist approach was used here which, while not entirely
novel, was unusual in an e-learning environment.
For this project it was decided to evaluate both content (subject matter) as well as instructional value
using two groups of peers from various academic institutions, clinical immunology experts and e-learning
experts.
Feedback was obtained through participation in a focus group or in writing. Replies were much easier
to obtain from the e-learning group. Five out of seven e-learning experts provided a response, versus three
out of twenty subject matter experts. Eventually most of the feedback was obtained from colleagues from
the home institution.
Both groups made valuable, somewhat overlapping suggestions. Subject matter experts indicated
that the course materials were of good quality and adequate on a postgraduate level. E-learning experts
expressed concern about the ability of the course to facilitate learning and identified also some usability
issues.
Some of the findings may well apply to other settings. A number of five evaluators in each group
appeared to give a good coverage within an open-ended approach. Expert peer review offered insights that
neither student feedback nor self-reflection could. Rather than imposing evaluative criteria on the experts
through the use of fixed checklists, the open-ended approach allowed them to cumulatively develop their
own framework tailor-made for the course. The choice of subject matter plus e-learning experts may be helpful in similar situations of evaluating
on-line courses where dual expertise is not readily available. The open-ended interpretivist approach can be
used for formative evaluation only and may work well for courses that are still in development or where an
amount of uncertainty about teaching effectiveness exists.
Future efforts will likely focus on implementing the recommendations, identifying sustainable ways
of quality review for the current course and similar open-ended evaluation of other courses.
AFRIKAANSE OPSOMMING: Die evaluering deur kundiges van ’n aanlyn-kursus in Kliniese Immunologie word in hierdie opdrag bespreek. Hierdie kursus word bykomend tot ‘n praktiese rotasie vir kliniese assistente (medies) en wetenskaplikes aangebied. Aangesien daar nie eenstemmigheid is oor wat gehalte in e-leer behels nie, en om die gebruiklike fokus op die evaluering van gebruiksmoontlikhede te vermy, is ’n interpreterende benadering in hierdie geval gebruik. Alhoewel hierdie benadering nie heeltemal nuut is nie, is die gebruik daarvan ongewoon in die eleer- omgewing. Daar is besluit om vakinhoud sowel as onderrigwaarde in hierdie projek te evalueer. Twee ewe-kniegroepe van verskillende akademiese inrigtings, kundiges in kliniese immunologie sowel as kundiges in e-leer is gebruik. Terugvoer is ontvang deur die deelname aan fokusgroeponderhoude of deur skriftelike terugvoer. Terugvoer is makliker van die e-leergroep verkry. Vyf uit die sewe e-leerkundiges het gerespondeer teenoor drie uit die twintig vakkundiges. Uiteindelik is die meeste terugvoer verkry van kollegas van die tuisinstelling. Beide groepe het waardevolle, maar dikwels oorvleuelende aanbevelings gemaak. Die vakkundiges het aangedui dat die kursusmateriaal van ’n goeie gehalte en geskik op ’n nagraadse vlak is. Die eleerkundiges het hul kommer uitgespreek oor die vermoë van die kursus om leer te fasiliteer en het ook ’n aantal kwessies ten opsigte van bruikbaarheid uitgewys. Sommige van die bevindinge kan moontlik ook in ander kontekste van toepassing wees. Dit het geblyk dat ongeveer vyf evalueerders in elke groep ’n goeie verslag met die oopvrae-benadering gegee het. Vakkundige ewe-kniebespreking het insigte opgelewer wat nie moontlik was met studente-terugvoer of selfrefleksie nie. In plaas daarvan dat evaluerende kriteria deur vaste vraelyste op die kundiges afgedwing is, het die oopvrae-benadering hulle die geleentheid gebied om kummulatief hul eie toepaslike raamwerk vir hierdie spesifieke kursus te ontwikkel. Die keuse van vakkundiges en e-leerkundiges mag nuttig wees in soortgelyke situasies waar aanlynkursusse geëvalueer word en die tweeledige kundigheid nie geredelik beskikbaar is nie. Die oopvraeinterpreterende benadering kan slegs vir formatiewe evaluering gebruik word en mag moontlik goed werk vir kursusse wat nog ontwikkel word en waar daar heelwat onsekerheid oor die doeltreffendheid van die onderrig bestaan. Verdere ontwikkeling sal waarskynlik fokus op die implementering van die aanbevelings, die identifisering van volhoubare maniere van gehalte-beoordeling vir die huidige kursus en soortgelyke oopvrae-evaluering van ander kursusse.
AFRIKAANSE OPSOMMING: Die evaluering deur kundiges van ’n aanlyn-kursus in Kliniese Immunologie word in hierdie opdrag bespreek. Hierdie kursus word bykomend tot ‘n praktiese rotasie vir kliniese assistente (medies) en wetenskaplikes aangebied. Aangesien daar nie eenstemmigheid is oor wat gehalte in e-leer behels nie, en om die gebruiklike fokus op die evaluering van gebruiksmoontlikhede te vermy, is ’n interpreterende benadering in hierdie geval gebruik. Alhoewel hierdie benadering nie heeltemal nuut is nie, is die gebruik daarvan ongewoon in die eleer- omgewing. Daar is besluit om vakinhoud sowel as onderrigwaarde in hierdie projek te evalueer. Twee ewe-kniegroepe van verskillende akademiese inrigtings, kundiges in kliniese immunologie sowel as kundiges in e-leer is gebruik. Terugvoer is ontvang deur die deelname aan fokusgroeponderhoude of deur skriftelike terugvoer. Terugvoer is makliker van die e-leergroep verkry. Vyf uit die sewe e-leerkundiges het gerespondeer teenoor drie uit die twintig vakkundiges. Uiteindelik is die meeste terugvoer verkry van kollegas van die tuisinstelling. Beide groepe het waardevolle, maar dikwels oorvleuelende aanbevelings gemaak. Die vakkundiges het aangedui dat die kursusmateriaal van ’n goeie gehalte en geskik op ’n nagraadse vlak is. Die eleerkundiges het hul kommer uitgespreek oor die vermoë van die kursus om leer te fasiliteer en het ook ’n aantal kwessies ten opsigte van bruikbaarheid uitgewys. Sommige van die bevindinge kan moontlik ook in ander kontekste van toepassing wees. Dit het geblyk dat ongeveer vyf evalueerders in elke groep ’n goeie verslag met die oopvrae-benadering gegee het. Vakkundige ewe-kniebespreking het insigte opgelewer wat nie moontlik was met studente-terugvoer of selfrefleksie nie. In plaas daarvan dat evaluerende kriteria deur vaste vraelyste op die kundiges afgedwing is, het die oopvrae-benadering hulle die geleentheid gebied om kummulatief hul eie toepaslike raamwerk vir hierdie spesifieke kursus te ontwikkel. Die keuse van vakkundiges en e-leerkundiges mag nuttig wees in soortgelyke situasies waar aanlynkursusse geëvalueer word en die tweeledige kundigheid nie geredelik beskikbaar is nie. Die oopvraeinterpreterende benadering kan slegs vir formatiewe evaluering gebruik word en mag moontlik goed werk vir kursusse wat nog ontwikkel word en waar daar heelwat onsekerheid oor die doeltreffendheid van die onderrig bestaan. Verdere ontwikkeling sal waarskynlik fokus op die implementering van die aanbevelings, die identifisering van volhoubare maniere van gehalte-beoordeling vir die huidige kursus en soortgelyke oopvrae-evaluering van ander kursusse.
Description
Thesis (MPhil)--Stellenbosch University, 2014.
Keywords
UCTD, Dissertations -- Health sciences education, Theses -- Health sciences education, Immunology -- Study and teaching -- Evaluation, Web-based instruction -- Evaluation, Computer assisted instruction -- Evaluation