Technical document accessibility
Date
2022-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
ENGLISH ABSTRACT: Technologies such as text to speech and braille provide alternative representations
of electronic text, allowing blind users to access most documents independently.
However, non-textual graphical information in electronic documents,
such as diagrams and equations, remain largely inaccessible to the
blind population. In this study, we explore audio-visual sensory substitution
as a means of rendering the information represented as diagrams and equations
in electronic documents to blind readers. For diagram accessibility, we have
extended the audio rendering approach used by the well-established vOICe
algorithm to allow interactive and localised exploration by means of gestures
and a touch screen. The effectiveness o f t his a pproach w as e valuated i n a
set of user trials that required six sighted and six blind subjects to identify
elements of scenes consisting of a number of geometrical shapes and emoticons.
The results show that both groups of subjects were more successful at
identifying shapes using the interactive algorithm than they were when using
the baseline vOICe algorithm to a highly statistically significant d egree. Furthermore,
the results indicate that this improvement is greatest for the most
complex scenes. Subsequently, we extended this approach to enable the reading
of mathematical equations embedded in PDF documents, by incorporating
a navigational system that draws on the navigational mechanisms often used
to explore the virtual worlds of text adventure games. The relative spatial
placement of the elements of an equation are represented as a virtual world,
so that the reader can navigate from element to element. Textual elements
are announced as synthesised speech while graphical elements are rendered using
audio-visual sensory substitution. This approach was evaluated by eleven
blind and fourteen sighted participants in a set of trials comprising the identification
o f s everal e quations e xtracted f rom P DF d ocuments. Considering only completely correct responses, blind and sighted candidates were able to
attain an accuracy of 74% and 83% respectively, with an overall average of
78%. When partial correctness is evaluated, these accuracies are even higher.
We conclude that, by enabling interactive exploration by means of gestures, a
spatial model represented as a virtual world, and audio-visual sensory substitution,
currently inaccessible diagrams and mathematical content in technical
documents can be made accessible to visually impaired readers without the
need for specialised equipment.
AFRIKAANS OPSOMMING: Tegnologieë soos teks na spraak en braille bied alternatiewe voorstellings van elektroniese teks, wat blinde gebruikers in staat stel om onafhanklik toegang tot meeste dokumente te verkry. Nie-tekstuele grafiese inligting in elektroniese dokumente, soos diagramme en vergelykings, bly egter grootliks ontoeganklik vir die blinde bevolking. In hierdie studie ondersoek onosudiovisuele sensoriese substitusie as ’n manier om die inligting wat as diagramme en vergelykings in elektroniese dokumente voorgestel word aan blinde lesers weer te gee. Vir diagramtoeganklikheid het ons die klankweergawe-benadering wat deur die goed gevestigde vOICe-algoritme gebruik word, uitgebrei om interaktiewe en gelokaliseerde verkenning deur middel van gebare en ’n raakskerm moontlik te maak. Die doeltreffendheid van hierdie b enadering is geëvalueer in ’n stel gebruikersproewe wat ses siende en ses blinde proefpersone vereis het om elemente van tonele te identifiseer w at u it ’ n a antal g eometriese v orms e n e moticons bestaan. Die resultate toon dat beide groepe proefpersone meer suksesvol was met die identifisering v an v orms d eur d ie i nteraktiewe a lgoritme t e gebruik as wat hulle was toe hulle die basislyn vOICe-algoritme gebruik het tot ’n hoogs statisties beduidende mate. Verder dui die resultate daarop dat hierdie verbetering die grootste is vir die mees komplekse tonele. Vervolgens het ons hierdie benadering uitgebrei om die lees van wiskundige vergelykings wat in PDF-dokumente voorkom moontlik te maak, deur ’n navigasiestelsel in te sluit wat gebruik maak van die navigasiemeganismes wat dikwels ingespan word om die virtuele wêrelde van teksavontuurspeletjies te verken. Die relatiewe ruimtelike plasing van die elemente van ’n vergelyking word as ’n virtuele wêreld voorgestel, sodat die leser van element tot element kan navigeer. Tekstuele elemente word as gesintetiseerde spraak aangekondig, terwyl grafiese elemente weergegee word deur oudiovisuele sensoriese substitusie te gebruik. Hierdie benadering is geëvalueer deur elf blinde en veertien siende deelnemers in ’n stel proewe wat die identifikasie van verskeie vergelykings behels het wat uit PDF-dokumente onttrek is. As slegs volkome korrekte antwoorde in ag geneem word, kon blinde en siende kandidate ’n akkuraatheid van 74% en 83% onderskeidelik behaal, met ’n algehele gemiddeld van 78%. Wanneer gedeeltelike korrektheid geëvalueer word, is hierdie akkuraatheid selfs hoër. Ons kom tot die gevolgtrekking dat, deur die insluiting van interaktiewe verkenning deur middel van gebare, ’n ruimtelike model wat as ’n virtuele wêreld voorgestel word, en oudiovisuele sensoriese substitusie, tans ontoeganklike diagramme en wiskundige inhoud in tegniese dokumente kan toeganklik gemaak word vir siggestremde lesers sonder die behoefte aan gespesialiseerde toerusting.
AFRIKAANS OPSOMMING: Tegnologieë soos teks na spraak en braille bied alternatiewe voorstellings van elektroniese teks, wat blinde gebruikers in staat stel om onafhanklik toegang tot meeste dokumente te verkry. Nie-tekstuele grafiese inligting in elektroniese dokumente, soos diagramme en vergelykings, bly egter grootliks ontoeganklik vir die blinde bevolking. In hierdie studie ondersoek onosudiovisuele sensoriese substitusie as ’n manier om die inligting wat as diagramme en vergelykings in elektroniese dokumente voorgestel word aan blinde lesers weer te gee. Vir diagramtoeganklikheid het ons die klankweergawe-benadering wat deur die goed gevestigde vOICe-algoritme gebruik word, uitgebrei om interaktiewe en gelokaliseerde verkenning deur middel van gebare en ’n raakskerm moontlik te maak. Die doeltreffendheid van hierdie b enadering is geëvalueer in ’n stel gebruikersproewe wat ses siende en ses blinde proefpersone vereis het om elemente van tonele te identifiseer w at u it ’ n a antal g eometriese v orms e n e moticons bestaan. Die resultate toon dat beide groepe proefpersone meer suksesvol was met die identifisering v an v orms d eur d ie i nteraktiewe a lgoritme t e gebruik as wat hulle was toe hulle die basislyn vOICe-algoritme gebruik het tot ’n hoogs statisties beduidende mate. Verder dui die resultate daarop dat hierdie verbetering die grootste is vir die mees komplekse tonele. Vervolgens het ons hierdie benadering uitgebrei om die lees van wiskundige vergelykings wat in PDF-dokumente voorkom moontlik te maak, deur ’n navigasiestelsel in te sluit wat gebruik maak van die navigasiemeganismes wat dikwels ingespan word om die virtuele wêrelde van teksavontuurspeletjies te verken. Die relatiewe ruimtelike plasing van die elemente van ’n vergelyking word as ’n virtuele wêreld voorgestel, sodat die leser van element tot element kan navigeer. Tekstuele elemente word as gesintetiseerde spraak aangekondig, terwyl grafiese elemente weergegee word deur oudiovisuele sensoriese substitusie te gebruik. Hierdie benadering is geëvalueer deur elf blinde en veertien siende deelnemers in ’n stel proewe wat die identifikasie van verskeie vergelykings behels het wat uit PDF-dokumente onttrek is. As slegs volkome korrekte antwoorde in ag geneem word, kon blinde en siende kandidate ’n akkuraatheid van 74% en 83% onderskeidelik behaal, met ’n algehele gemiddeld van 78%. Wanneer gedeeltelike korrektheid geëvalueer word, is hierdie akkuraatheid selfs hoër. Ons kom tot die gevolgtrekking dat, deur die insluiting van interaktiewe verkenning deur middel van gebare, ’n ruimtelike model wat as ’n virtuele wêreld voorgestel word, en oudiovisuele sensoriese substitusie, tans ontoeganklike diagramme en wiskundige inhoud in tegniese dokumente kan toeganklik gemaak word vir siggestremde lesers sonder die behoefte aan gespesialiseerde toerusting.
Description
Thesis (PhD) -- Stellenbosch University, 2022.
Keywords
Electronic data processing documentation, Text-to-speech software, Audio-visual aids, Voice computing, UCTD