The influence of readibility of examination questions on achievement in senior secondary school mathematics : a study on verbal problems with special reference to second language readers
Date
1995-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This study investigates the influence of readability of mathematics examination questions
on achievement. The aim of any mathematics examination is to assess whether the aims
of a specific mathematics programme have been realized. Readability factors that
unnecessarily prevent a clear understanding of questions could jeopardize this aim. The
important issue is, therefore, whether there are indeed readability factors in mathematics
examination questions that cause comprehension problems for students and, if there are,
do they hav~ any effect on test scores?
The issue of readability is of even greater importance for second language readers. In
the South Mrican context, the reading problems of second language readers are of
particular importance as most students at school are second language learners. An
important question would therefore be: What readability factors cause comprehension
difficulties for second language students, especially those whose mother tongue is not
kindred to English? Furthermore, what is the influence of cultural factors on readability?
This study provides answers to these and other related questions for mathematics text
at senior secondary school level.
Protocol analysis was used to ascertain what readability problems are experienced by
students when reading examination questions in mathematics. Three different language
groups, comprising 17 -18-year-old students, were used in the study: English First
Language students and two groups who had English as a second language. One second
language group had Mrikaans as first language while the other group comprised Mrican
students whose mother tongue is unrelated to English. A framework was developed to
analyse the protocols and it comprised five categories:
unfamiliar vocabulary
structural problems
obscure information
visualization difficulties
non-verbal factors
Mter the protocol study, students were asked to adapt the examination questions to a
more comprehensible form. Students' adaptations addressed lexical, syntactical, discourse and non-verbal factors. Most of the readability problems identified in the literature study
were verified in the empirical study. However, the empirical study generated additional
readability problems that are mainly restricted to mathematics text and relate to nonverbal
factors like mathematical expressions. During the last phase of the empirical study
a composite test was used to test the hypothesis that improved readability of the common
language used in mathematics examination questions' will improve achievement. Nine socalled
"word problems" from previous examination papers were set in three different
versions: original, adapted and non-verbal.
The hypothesis was confirmed in a number of important cases. A significant finding of
the study was, therefore, that readability factors not only influence the comprehension
of mathematics examination questions, but also have a marked influence on students'
achievement levels. The results of the empirical study are reported quantitatively as well
as qualitatively. Other results include the following:
Not only second language students, but also first language students experienced
a variety of readability problems.
All three language groups demonstrated the same level of competency on the
non-verbal versions. When comparing test scores of the verbal versions,
differences in achievement levels between the different language groups were
often caused by linguistic and cultural factors.
Cultural thought patterns, typical of a mother tongue but absent in a second
language, were often a source of comprehension difficulties for second language
readers.
This study has led to certain conclusions for teaching and examination practice. For
example, factors influencing the readability of ordinary English should be considered with
other factors when writing mathematics examination questions. Furthermore, the
distinctly different reading needs of second language students suggest that examination
papers be set, so that the language needs of second language learners are
accommodated.
Guidelines for writing more readable examination questions were developed and are
presented as a readability checklist. Suggestions for further research include the
investigation of the influence of readability on achievement in authentic examination
conditions.
AFRIKAANSE OPSOMMING: Hierdie studie ondersoek die invloed van leesbaarheid van wiskunde eksamenvrae op prestasie. Die doel van enige wiskunde eksamen is om vas te stel of die doelwitte van 'n spesifieke wiskunde program bereik is. Leesbaarheidsfaktore wat die volledige begryp van vraestelle onnodig belemmer, kan die bereiking van hierdie doel verhinder. Dit is dus belangrik om vas te stel of daar wel leesbaarheidsfaktore in wiskunde eksamenvrae bestaan wat vir leerlinge begripsprobleme veroorsaak en, indien wel, of hulle enige effek op toetspunte het. Vir tweedetaallesers is die kwessie van leesbaarheid van nog groter belang. In die SuidAfrikaanse opset is die leesprobleme van tweedetaal lesers 'n uiters aktuele saak aangesien die meeste skoolleerlinge tweedetaal leerders is. Belangrike vrae is dus: Watter faktore veroorsaak leesbaarheidsprobleme vir tweedetaalleerlinge, veral diegene met 'n nie-verwante moedertaal en, watter invloed het kultuur op leesbaarheid? Hierdie ondersoek bied antwoorde op hierdie en ander verwante vrae ten opsigte van wiskunde eksamenvrae op senior sekondere vlak. Protokol analise is gebruik om vas te stel watter leesbaarheidsprobleme ondervind word wanneer leerlinge wiskunde eksamenvrae lees. Drie verskillende taalgroepe, bestaande uit 17 -18-jarige leerlinge, het aan die ondersoek deelgeneem: Engels Eerstetaalleerlinge en twee groepe wat Engels as tweede taal gehad het. Een van die tweedetaal groepe het Afrikaans as eerste taal gehad terwyl die ander groep bestaan het uit Afrikane wie se moedertaal nie aan Engels verwant is nie. 'n Raamwerk is ontwikkel om die protokolle te analiseer en het uit die volgende vyf kategoriee bestaan: onbekende woordeskat strukturele probleme onduidelike inligting visualiseringsprobleme nie-verbale probleme Gedurende die tweede fase van die ondersoek is leerlinge gevra om die vrae tot 'n meer verstaanbare vorm aan te pas. Leerlinge se aanpassings het leksikale, sintaktiese, diskoers en nie-verbale faktore aangespreek. Sommige leesbaarheidsprobleme wat in die literatuurstudie gei'dentifiseer is, is in die empiriese ondersoek geverifieer. Die empiriese ondersoek het egter addisionele leesbaarheidsprobleme uitgelig wat meerendeels wiskundig van aard is en verband hou met nie-verbale faktore soos wiskunde uitdrukkings. Gedurende die laaste deel van die empiriese ondersoek is 'n samegestelde toets gebruik om die volgende hipotese te toets: Verbeterde leesbaarheid van die gewone taal wat in wiskunde eksamenvrae gebruik word, sal die prestasie van leerlinge verb et er. N ege sogenaamde woordsomme is op verskillende maniere gestel: oorspronklik, aangepas en nie-verbaal. Die hipotese is in 'n hele aantal belangrike gevalle bevestig. Een van die bevindinge van die ondersoek was dus dat leesbaarheidsfaktore nie slegs be grip ten opsigte van wiskunde eksamenvrae bei:nvloed nie, maar ook 'n beduidende invloed op prestasie het. Die resultate van die empiriese ondersoek word kwalitatief sowel as kwantitatief weergegee. Ander resultate sluit die volgende in: Nie slegs tweedetaal leerlinge nie, maar ook eerstetaal leerlinge het 'n verskeidenhied van leesbaarheidsprobleme ondervind Al drie taalgroepe het op die nie-verbale weergawe dieselfde bekwaamheidsvlak getoon. Verskille in die prestasievlakke tussen die verskillende taalgroepe op die verbale weergawes is baiekeer deur taalkundige en kulturele faktore veroorsaak Kulturele denkpatrone wat tipies is van 'n leerling se moedertaal, maar nie in die tweedetaal voorkom nie, het dikwels tot begripsprobleme by tweedetaal lesers gelei. Hierdie ondersoek het sekere gevolgtrekkings v1r o~derrig- en eksamenpraktyk. Byvoorbeeld, faktore wat die leesbaarheid van gewone Engels bei:nvloed, behoort saam met ander faktore in ag geneem te word wanneer wiskunde eksamenvraestelle opgestel word. Verder is daar duidelike aanduidings dat aparte vraestelle vir eerste- en tweedetaal leerlinge opgestel moet word sodat die taalbehoeftes van tweedetaal leerlinge in ag geneem kan word. Riglyne vir die skryf van meer leesbare eksamenvrae is saamgestel en as 'n oorsiglys aangebied. Voorstelle vir verdere navorsing sluit in die ondersoek na die invloed van leesbaarheid op prestasie in ware eksamen omstandighede.
AFRIKAANSE OPSOMMING: Hierdie studie ondersoek die invloed van leesbaarheid van wiskunde eksamenvrae op prestasie. Die doel van enige wiskunde eksamen is om vas te stel of die doelwitte van 'n spesifieke wiskunde program bereik is. Leesbaarheidsfaktore wat die volledige begryp van vraestelle onnodig belemmer, kan die bereiking van hierdie doel verhinder. Dit is dus belangrik om vas te stel of daar wel leesbaarheidsfaktore in wiskunde eksamenvrae bestaan wat vir leerlinge begripsprobleme veroorsaak en, indien wel, of hulle enige effek op toetspunte het. Vir tweedetaallesers is die kwessie van leesbaarheid van nog groter belang. In die SuidAfrikaanse opset is die leesprobleme van tweedetaal lesers 'n uiters aktuele saak aangesien die meeste skoolleerlinge tweedetaal leerders is. Belangrike vrae is dus: Watter faktore veroorsaak leesbaarheidsprobleme vir tweedetaalleerlinge, veral diegene met 'n nie-verwante moedertaal en, watter invloed het kultuur op leesbaarheid? Hierdie ondersoek bied antwoorde op hierdie en ander verwante vrae ten opsigte van wiskunde eksamenvrae op senior sekondere vlak. Protokol analise is gebruik om vas te stel watter leesbaarheidsprobleme ondervind word wanneer leerlinge wiskunde eksamenvrae lees. Drie verskillende taalgroepe, bestaande uit 17 -18-jarige leerlinge, het aan die ondersoek deelgeneem: Engels Eerstetaalleerlinge en twee groepe wat Engels as tweede taal gehad het. Een van die tweedetaal groepe het Afrikaans as eerste taal gehad terwyl die ander groep bestaan het uit Afrikane wie se moedertaal nie aan Engels verwant is nie. 'n Raamwerk is ontwikkel om die protokolle te analiseer en het uit die volgende vyf kategoriee bestaan: onbekende woordeskat strukturele probleme onduidelike inligting visualiseringsprobleme nie-verbale probleme Gedurende die tweede fase van die ondersoek is leerlinge gevra om die vrae tot 'n meer verstaanbare vorm aan te pas. Leerlinge se aanpassings het leksikale, sintaktiese, diskoers en nie-verbale faktore aangespreek. Sommige leesbaarheidsprobleme wat in die literatuurstudie gei'dentifiseer is, is in die empiriese ondersoek geverifieer. Die empiriese ondersoek het egter addisionele leesbaarheidsprobleme uitgelig wat meerendeels wiskundig van aard is en verband hou met nie-verbale faktore soos wiskunde uitdrukkings. Gedurende die laaste deel van die empiriese ondersoek is 'n samegestelde toets gebruik om die volgende hipotese te toets: Verbeterde leesbaarheid van die gewone taal wat in wiskunde eksamenvrae gebruik word, sal die prestasie van leerlinge verb et er. N ege sogenaamde woordsomme is op verskillende maniere gestel: oorspronklik, aangepas en nie-verbaal. Die hipotese is in 'n hele aantal belangrike gevalle bevestig. Een van die bevindinge van die ondersoek was dus dat leesbaarheidsfaktore nie slegs be grip ten opsigte van wiskunde eksamenvrae bei:nvloed nie, maar ook 'n beduidende invloed op prestasie het. Die resultate van die empiriese ondersoek word kwalitatief sowel as kwantitatief weergegee. Ander resultate sluit die volgende in: Nie slegs tweedetaal leerlinge nie, maar ook eerstetaal leerlinge het 'n verskeidenhied van leesbaarheidsprobleme ondervind Al drie taalgroepe het op die nie-verbale weergawe dieselfde bekwaamheidsvlak getoon. Verskille in die prestasievlakke tussen die verskillende taalgroepe op die verbale weergawes is baiekeer deur taalkundige en kulturele faktore veroorsaak Kulturele denkpatrone wat tipies is van 'n leerling se moedertaal, maar nie in die tweedetaal voorkom nie, het dikwels tot begripsprobleme by tweedetaal lesers gelei. Hierdie ondersoek het sekere gevolgtrekkings v1r o~derrig- en eksamenpraktyk. Byvoorbeeld, faktore wat die leesbaarheid van gewone Engels bei:nvloed, behoort saam met ander faktore in ag geneem te word wanneer wiskunde eksamenvraestelle opgestel word. Verder is daar duidelike aanduidings dat aparte vraestelle vir eerste- en tweedetaal leerlinge opgestel moet word sodat die taalbehoeftes van tweedetaal leerlinge in ag geneem kan word. Riglyne vir die skryf van meer leesbare eksamenvrae is saamgestel en as 'n oorsiglys aangebied. Voorstelle vir verdere navorsing sluit in die ondersoek na die invloed van leesbaarheid op prestasie in ware eksamen omstandighede.
Description
Thesis (PhD)--Stellenbosch University, 1995.
Keywords
Mathematics -- Study and teaching (Secondary) -- South Africa, Theses -- Education, Dissertations -- Education, Mathematics -- Examinations -- Evaluation