Development and usability evaluation of a multimedia e-learning resource for electrolyte and acid-base disorders

Date
2015-03
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: We have developed an innovative multimedia e-learning resource, the Electrolyte Workshop, to provide students and clinicians with instruction and the opportunity for simulated practice in managing electrolyte and acid-base disorders. Our teaching approach is built around relevant physiology and makes use of real cases and storytelling to engage the learner. We have documented the challenges encountered during the development process and have made recommendations for the managing of similar projects. While there are many factors that must be in place to ensure successful e-learning, this dissertation focuses on an important but under-appreciated factor, namely the usability of the computer interface. Usability describes how easy technology interfaces are to use and is routinely evaluated and optimized in the software development industry. This is not yet the case with e-learning, especially in the area of medical education. Poor usability limits the potential benefit of educational resources, as this means that learners will struggle with the interface as well as with the challenges of the content presented. A comprehensive usability evaluation of our Electrolyte Workshop was completed. This included testing with typical end-users, where data were collected via standardized questionnaires and by observing and analysing their interactions with our application. We employed heuristic evaluation as an additional approach and assembled a panel of experts to evaluate our application against a set of heuristics, or principles of good interface design. Many serious usability problems were identified, thus severely limiting the potential educational impact of our Electrolyte Workshop. There was a striking disconnect between the objective measures of usability and self-reported questionnaire data. Our user-testing data make a useful contribution to the debate on how many users are required to find most of the usability problems in an interface. Heuristic evaluation proved to be a very efficient approach. However, both user testing and heuristic evaluation detected serious problems which were missed with the other method. These evaluations informed a comprehensive revision of our application and we could then compare the original with an optimized version in a randomized trial. We found large improvements in objective usability measures, which are likely to increase the satisfaction and motivation of learners. There were similar scores on measures of learning. This was not surprising as our participants were all relatively high-knowledge learners and not novices as regards the subject matter. Our study clearly indicates that the usability evaluation of e-learning resources is critical, and provides an example of how clinician-teachers can improve the usability of the resources they develop. Usability should be evaluated as a routine part of the development and implementation of e-learning materials, modules and programmes. This should start with the earliest versions of the resource, when making changes is easier and less costly. We have demonstrated that a combination of methods should be employed and have highlighted the utility of heuristic evaluation. An iterative approach should be followed, with several cycles of testing and re-design. User testing should always include the study of objective usability measures and not rely only on self-reported measures of user satisfaction.
AFRIKAANSE OPSOMMING: Ons het ’n innoverende multimediahulpbron vir e-leer, die Electrolyte Workshop, ontwikkel om studente en klinici van ’n onderrighulpmiddel sowel as die geleentheid vir gesimuleerde oefening in die hantering van elektroliet en suur-basis stoornisse te voorsien. Ons onderrigbenadering is gegrond op relevante fisiologie en maak gebruik van werklike gevalle en vertelkuns om die leerder te betrek en te boei. Ons het die uitdagings gedurende die ontwikkelingsproses opgeteken en aanbevelings oor die bestuur van soortgelyke projekte gedoen. Hoewel suksesvolle e-leer van etlike faktore afhang, konsentreer hierdie verhandeling op ’n belangrike dog onderskatte faktor, naamlik die bruikbaarheid van die rekenaarkoppelvlak. Bruikbaarheid verwys na die gemak waarmee tegnologiekoppelvlakke gebruik kan word, en word gereeld in die sagtewareontwikkelingsbedryf beoordeel en verbeter. Tog is dit nog nie die geval met e-leer nie, veral op die gebied van mediese onderrig. Swak bruikbaarheid beperk die moontlike voordeel van opvoedkundige hulpbronne, aangesien leerders voor die dubbele uitdaging van ’n ingewikkelde koppelvlak én die voorgeskrewe inhoud te staan kom. ’n Omvattende bruikbaarheidsbeoordeling is van die Electrolyte Workshop onderneem. Dit het toetsing met tipiese eindgebruikers ingesluit, waarvoor data met behulp van gestandaardiseerde vraelyste ingesamel en gebruikers se interaksie met die toepassing waargeneem en ontleed is. Ons het heuristiese evaluering as bykomende benadering gebruik en ’n kennerspaneel saamgestel om ons toepassing aan die hand van ’n stel heuristiek, oftewel beginsels van goeie koppelvlakontwerp, te beoordeel. ’n Hele aantal ernstige bruikbaarheidsprobleme is uitgewys, wat die moontlike opvoedkundige impak van die Electrolyte Workshop erg beperk. Daar was merkbare teenstrydigheid tussen die objektiewe bruikbaarheidsmaatstawwe en die selfaangemelde vraelysdata. Ons gebruikerstoetsdata lewer ’n waardevolle bydrae tot die debat oor hoeveel gebruikers nodig is om die meeste van die bruikbaarheidsprobleme met ’n koppelvlak te ontdek. Heuristiese evaluering was ʼn baie doeltreffende benadering. Tog het gebruikerstoetsing op sekere ernstige probleme afgekom wat heuristiese evaluering misgekyk het, en andersom. Hierdie beoordelings het as grondslag gedien vir ’n omvattende hersiening van die toepassing, waarna ons die oorspronklike weergawe in ’n verewekansigde proef met ’n verbeterde weergawe kon vergelyk. Die objektiewe bruikbaarheidsmaatstawwe het groot verbeterings getoon, wat waarskynlik leerders se tevredenheid en motivering sal verhoog. Leermaatstawwe het soortgelyke tellings opgelewer. Dít was egter te wagte gewees, aangesien die deelnemers almal betreklik ingelig was oor die vakmateriaal, eerder as nuwelinge. Ons studie het bevestig dat die bruikbaarheidsbeoordeling van e-leerhulpbronne noodsaaklik is, en bied ’n voorbeeld van hoe klinici-opvoeders bruikbaarder hulpbronne kan ontwikkel. Bruikbaarheid behoort as ’n roetinedeel van die ontwikkeling en inwerkingstelling van e-leermateriaal, -modules en -programme beoordeel te word. Dit behoort reeds by die vroegste weergawes van die hulpbron te begin, wanneer dit makliker en goedkoper is om veranderinge aan te bring. Ons het ook getoon dat ’n kombinasie van metodes gebruik behoort te word, en het die nut van heuristiese evaluering beklemtoon. ’n Herhalende benadering moet gevolg word, met etlike siklusse van toetsing en herontwerp. Gebruikerstoetsing behoort altyd die beoordeling van objektiewe bruikbaarheidsmaatstawwe in te sluit, en moenie slegs op selfaangemelde maatstawwe van gebruikerstevredenheid staatmaak nie.
Description
Thesis ((DMed)--Stellenbosch University, 2015.
Keywords
Acid-base imbalances -- Computer-aided design, Sulfuric acid -- Computer-aided design, UCTD
Citation