Development and usability evaluation of a multimedia e-learning resource for electrolyte and acid-base disorders
Date
2015-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: We have developed an innovative multimedia e-learning resource, the Electrolyte
Workshop, to provide students and clinicians with instruction and the opportunity for
simulated practice in managing electrolyte and acid-base disorders. Our teaching
approach is built around relevant physiology and makes use of real cases and
storytelling to engage the learner. We have documented the challenges encountered
during the development process and have made recommendations for the managing
of similar projects.
While there are many factors that must be in place to ensure successful e-learning,
this dissertation focuses on an important but under-appreciated factor, namely the
usability of the computer interface. Usability describes how easy technology
interfaces are to use and is routinely evaluated and optimized in the software
development industry. This is not yet the case with e-learning, especially in the area
of medical education. Poor usability limits the potential benefit of educational
resources, as this means that learners will struggle with the interface as well as with
the challenges of the content presented.
A comprehensive usability evaluation of our Electrolyte Workshop was completed.
This included testing with typical end-users, where data were collected via
standardized questionnaires and by observing and analysing their interactions with
our application. We employed heuristic evaluation as an additional approach and
assembled a panel of experts to evaluate our application against a set of heuristics,
or principles of good interface design.
Many serious usability problems were identified, thus severely limiting the potential
educational impact of our Electrolyte Workshop. There was a striking disconnect
between the objective measures of usability and self-reported questionnaire data.
Our user-testing data make a useful contribution to the debate on how many users
are required to find most of the usability problems in an interface. Heuristic
evaluation proved to be a very efficient approach. However, both user testing and heuristic evaluation detected serious problems which were missed with the other
method.
These evaluations informed a comprehensive revision of our application and we
could then compare the original with an optimized version in a randomized trial. We
found large improvements in objective usability measures, which are likely to
increase the satisfaction and motivation of learners. There were similar scores on
measures of learning. This was not surprising as our participants were all relatively
high-knowledge learners and not novices as regards the subject matter.
Our study clearly indicates that the usability evaluation of e-learning resources is
critical, and provides an example of how clinician-teachers can improve the usability
of the resources they develop. Usability should be evaluated as a routine part of the
development and implementation of e-learning materials, modules and programmes.
This should start with the earliest versions of the resource, when making changes is
easier and less costly. We have demonstrated that a combination of methods should
be employed and have highlighted the utility of heuristic evaluation. An iterative
approach should be followed, with several cycles of testing and re-design. User
testing should always include the study of objective usability measures and not rely
only on self-reported measures of user satisfaction.
AFRIKAANSE OPSOMMING: Ons het ’n innoverende multimediahulpbron vir e-leer, die Electrolyte Workshop, ontwikkel om studente en klinici van ’n onderrighulpmiddel sowel as die geleentheid vir gesimuleerde oefening in die hantering van elektroliet en suur-basis stoornisse te voorsien. Ons onderrigbenadering is gegrond op relevante fisiologie en maak gebruik van werklike gevalle en vertelkuns om die leerder te betrek en te boei. Ons het die uitdagings gedurende die ontwikkelingsproses opgeteken en aanbevelings oor die bestuur van soortgelyke projekte gedoen. Hoewel suksesvolle e-leer van etlike faktore afhang, konsentreer hierdie verhandeling op ’n belangrike dog onderskatte faktor, naamlik die bruikbaarheid van die rekenaarkoppelvlak. Bruikbaarheid verwys na die gemak waarmee tegnologiekoppelvlakke gebruik kan word, en word gereeld in die sagtewareontwikkelingsbedryf beoordeel en verbeter. Tog is dit nog nie die geval met e-leer nie, veral op die gebied van mediese onderrig. Swak bruikbaarheid beperk die moontlike voordeel van opvoedkundige hulpbronne, aangesien leerders voor die dubbele uitdaging van ’n ingewikkelde koppelvlak én die voorgeskrewe inhoud te staan kom. ’n Omvattende bruikbaarheidsbeoordeling is van die Electrolyte Workshop onderneem. Dit het toetsing met tipiese eindgebruikers ingesluit, waarvoor data met behulp van gestandaardiseerde vraelyste ingesamel en gebruikers se interaksie met die toepassing waargeneem en ontleed is. Ons het heuristiese evaluering as bykomende benadering gebruik en ’n kennerspaneel saamgestel om ons toepassing aan die hand van ’n stel heuristiek, oftewel beginsels van goeie koppelvlakontwerp, te beoordeel. ’n Hele aantal ernstige bruikbaarheidsprobleme is uitgewys, wat die moontlike opvoedkundige impak van die Electrolyte Workshop erg beperk. Daar was merkbare teenstrydigheid tussen die objektiewe bruikbaarheidsmaatstawwe en die selfaangemelde vraelysdata. Ons gebruikerstoetsdata lewer ’n waardevolle bydrae tot die debat oor hoeveel gebruikers nodig is om die meeste van die bruikbaarheidsprobleme met ’n koppelvlak te ontdek. Heuristiese evaluering was ʼn baie doeltreffende benadering. Tog het gebruikerstoetsing op sekere ernstige probleme afgekom wat heuristiese evaluering misgekyk het, en andersom. Hierdie beoordelings het as grondslag gedien vir ’n omvattende hersiening van die toepassing, waarna ons die oorspronklike weergawe in ’n verewekansigde proef met ’n verbeterde weergawe kon vergelyk. Die objektiewe bruikbaarheidsmaatstawwe het groot verbeterings getoon, wat waarskynlik leerders se tevredenheid en motivering sal verhoog. Leermaatstawwe het soortgelyke tellings opgelewer. Dít was egter te wagte gewees, aangesien die deelnemers almal betreklik ingelig was oor die vakmateriaal, eerder as nuwelinge. Ons studie het bevestig dat die bruikbaarheidsbeoordeling van e-leerhulpbronne noodsaaklik is, en bied ’n voorbeeld van hoe klinici-opvoeders bruikbaarder hulpbronne kan ontwikkel. Bruikbaarheid behoort as ’n roetinedeel van die ontwikkeling en inwerkingstelling van e-leermateriaal, -modules en -programme beoordeel te word. Dit behoort reeds by die vroegste weergawes van die hulpbron te begin, wanneer dit makliker en goedkoper is om veranderinge aan te bring. Ons het ook getoon dat ’n kombinasie van metodes gebruik behoort te word, en het die nut van heuristiese evaluering beklemtoon. ’n Herhalende benadering moet gevolg word, met etlike siklusse van toetsing en herontwerp. Gebruikerstoetsing behoort altyd die beoordeling van objektiewe bruikbaarheidsmaatstawwe in te sluit, en moenie slegs op selfaangemelde maatstawwe van gebruikerstevredenheid staatmaak nie.
AFRIKAANSE OPSOMMING: Ons het ’n innoverende multimediahulpbron vir e-leer, die Electrolyte Workshop, ontwikkel om studente en klinici van ’n onderrighulpmiddel sowel as die geleentheid vir gesimuleerde oefening in die hantering van elektroliet en suur-basis stoornisse te voorsien. Ons onderrigbenadering is gegrond op relevante fisiologie en maak gebruik van werklike gevalle en vertelkuns om die leerder te betrek en te boei. Ons het die uitdagings gedurende die ontwikkelingsproses opgeteken en aanbevelings oor die bestuur van soortgelyke projekte gedoen. Hoewel suksesvolle e-leer van etlike faktore afhang, konsentreer hierdie verhandeling op ’n belangrike dog onderskatte faktor, naamlik die bruikbaarheid van die rekenaarkoppelvlak. Bruikbaarheid verwys na die gemak waarmee tegnologiekoppelvlakke gebruik kan word, en word gereeld in die sagtewareontwikkelingsbedryf beoordeel en verbeter. Tog is dit nog nie die geval met e-leer nie, veral op die gebied van mediese onderrig. Swak bruikbaarheid beperk die moontlike voordeel van opvoedkundige hulpbronne, aangesien leerders voor die dubbele uitdaging van ’n ingewikkelde koppelvlak én die voorgeskrewe inhoud te staan kom. ’n Omvattende bruikbaarheidsbeoordeling is van die Electrolyte Workshop onderneem. Dit het toetsing met tipiese eindgebruikers ingesluit, waarvoor data met behulp van gestandaardiseerde vraelyste ingesamel en gebruikers se interaksie met die toepassing waargeneem en ontleed is. Ons het heuristiese evaluering as bykomende benadering gebruik en ’n kennerspaneel saamgestel om ons toepassing aan die hand van ’n stel heuristiek, oftewel beginsels van goeie koppelvlakontwerp, te beoordeel. ’n Hele aantal ernstige bruikbaarheidsprobleme is uitgewys, wat die moontlike opvoedkundige impak van die Electrolyte Workshop erg beperk. Daar was merkbare teenstrydigheid tussen die objektiewe bruikbaarheidsmaatstawwe en die selfaangemelde vraelysdata. Ons gebruikerstoetsdata lewer ’n waardevolle bydrae tot die debat oor hoeveel gebruikers nodig is om die meeste van die bruikbaarheidsprobleme met ’n koppelvlak te ontdek. Heuristiese evaluering was ʼn baie doeltreffende benadering. Tog het gebruikerstoetsing op sekere ernstige probleme afgekom wat heuristiese evaluering misgekyk het, en andersom. Hierdie beoordelings het as grondslag gedien vir ’n omvattende hersiening van die toepassing, waarna ons die oorspronklike weergawe in ’n verewekansigde proef met ’n verbeterde weergawe kon vergelyk. Die objektiewe bruikbaarheidsmaatstawwe het groot verbeterings getoon, wat waarskynlik leerders se tevredenheid en motivering sal verhoog. Leermaatstawwe het soortgelyke tellings opgelewer. Dít was egter te wagte gewees, aangesien die deelnemers almal betreklik ingelig was oor die vakmateriaal, eerder as nuwelinge. Ons studie het bevestig dat die bruikbaarheidsbeoordeling van e-leerhulpbronne noodsaaklik is, en bied ’n voorbeeld van hoe klinici-opvoeders bruikbaarder hulpbronne kan ontwikkel. Bruikbaarheid behoort as ’n roetinedeel van die ontwikkeling en inwerkingstelling van e-leermateriaal, -modules en -programme beoordeel te word. Dit behoort reeds by die vroegste weergawes van die hulpbron te begin, wanneer dit makliker en goedkoper is om veranderinge aan te bring. Ons het ook getoon dat ’n kombinasie van metodes gebruik behoort te word, en het die nut van heuristiese evaluering beklemtoon. ’n Herhalende benadering moet gevolg word, met etlike siklusse van toetsing en herontwerp. Gebruikerstoetsing behoort altyd die beoordeling van objektiewe bruikbaarheidsmaatstawwe in te sluit, en moenie slegs op selfaangemelde maatstawwe van gebruikerstevredenheid staatmaak nie.
Description
Thesis ((DMed)--Stellenbosch University, 2015.
Keywords
Acid-base imbalances -- Computer-aided design, Sulfuric acid -- Computer-aided design, UCTD