The development and validation of the Growing Disciples Inventory (GDI) as a curriculum-aligned self-assessment for Christian education
Date
2011-03
Authors
Bradfield, Glynis Madeleine
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : University of Stellenbosch
Abstract
ENGLISH ABSTRACT: Although numerous norm-referenced measures of religiosity and spirituality exist for
adults, no assessment of the holistic goals for Christian spiritual development in the
context of evangelical Protestant schools, geared to adolescents, and using emerging
technologies, was found. Addressing this lacuna, the purpose of this curriculum study
was to develop and validate the Growing Disciples Inventory (GDI) as a curriculum-aligned
self-assessment for Christian education.
Using a mixed methods approach, the GDI was constructed in the first phase of this
educational design research. Experts in the fields of curriculum, assessment, Christian
education and/or discipleship evaluated the extent to which proposed items were aligned
to the Growing Disciples (GD) curriculum framework, and were appropriate to adolescent
learners participating in Christian education. At least four items were included for each of
21 constructs within the four GD curriculum processes. The 100-item GDI was further
refined through two development cycles of usability testing with adolescents. Using a
think-aloud protocol, a proportional quota convenience sample of 16 learners completed
the GDI online, reviewed their online reports, and took the exit survey. Minor refinements
were made with the data from these individual interviews.
During the second phase, evidence for the validity of the GDI was evaluated with data
from a purposive sample of nine educators and 595 Grade 7 through 12 students in 8
American, South African, and Australian Seventh-day Adventist schools. High reliability
was found in terms of internal consistency (Cronbach’s alphas of .855 to .943) and
structural equation modelling (standardized correlation coefficients of .59 to .95) for the
four cyclical and lifelong Christian spiritual development processes of Connecting,
Understanding, Ministering, and Equipping. Confirmatory factor analysis through
structural equation modelling provided evidence of construct validity with an adequate
model fit. Moderate inter-factor correlations compared to higher correlations within factors
indicated discriminant validity. Learner responses to 7 GDI exit survey items further
supported the GDI’s design and ease-of-use online. Answers to 3 open-ended GDI exit
survey questions supplied rich qualitative data that corroborated quantitative responses,
and added perceptions of the utility and relevance of the GDI as a formative selfassessment
tool to facilitate exploration of strengths and growth points through reflection
and metacognition. The majority of educator interviews indicated favourable perceptions
of the GDI’s utility and relevance within their sphere of the global Seventh-day Adventist
education system.
Structural equation model fit evaluation and correlations demonstrated that the GDI is a
consistent self-assessment across gender and grade level. Although a weak correlation
between country and learner scores was found, qualitative data supports the relevance of
the GDI in each country. Further validation studies are recommended with larger samples
international samples to adequately demonstrate generalizability within the context of
evangelical Protestant education. Analysis of emerging themes in learner responses
corroborated quantitative findings, triangulating evidence for learner engagement and the
positive potential for the GDI’s use to facilitate Christian spiritual development. Each study
of reliability and validity undertaken in this mixed methods curriculum research added
moderate to strong evidence in support of the GDI as a curriculum-aligned selfassessment
for adolescents participating in Christian education.
AFRIKAANSE OPSOMMING: Daar bestaan talle norm-gebaseerde meetinstrumente vir die meting van vlakke van religieusiteit en spiritualiteit vir volwassenes. Geen assessering instrument van die holistiese doelstellings van Christelike spirituele ontwikkeling in die konteks van Protestant skole, toegespits op adolessente, wat van opkomende tegnologieë gebruik maak, kon gevind word nie. Om hierdie leemte aan te spreek, was die doelwit van hierdie navorsingstudie en kurrikulumontwikkeling om die “Growing Disciples Inventory” (GDI) te ontwikkel en om die geldigheid van dié instrument te bepaal as ʼn kurrikulumgerigte selfassessering instrument vir Christelike onderwys. Deur gebruik te maak van ʼn gemengde navorsingsmetode-benadering is die GDI in die eerste fase van hierdie opvoedkundige navorsingsontwerp opgestel. Deskundiges op die gebiede van kurrikulum, assessering, Christelike onderwys en/of "dissipelskap" het die toepaslikheid van voorgestelde items vir die “Growing Disciples” (GD) kurrikulumraamwerk, asook die geskiktheid vir adolessente-leerders in Christelike onderwys geëvalueer. Ten minste vier items is vir elk van 21 konstrukte binne die vier GD kurrikulumprosesse ingesluit. Die 100-item GDI is verder verfyn deur twee ontwikkeling-siklusse van loods- of bruikbaarheidstoetsings met adolessente. Deur gebruik te maak van ʼn "hardop-dink" protokol het ʼn proporsionele kwota gerieflikheidsteekproef van 16 leerders die GDI aanlyn voltooi. Die deelnemers se onmiddellike kits-aanlyn verslae is hersien, en die 10-item finale opname is gedoen. Geringe verfynings is ontwerp met data wat verkry is van hierdie individuele onderhoude. In die tweede fase is bewyse vir die geldigheid van die GDI geëvalueer met data wat versamel is van ʼn doelgerigte steekproef van nege opvoeders en 595 graad 7 tot 12 leerders uit 8 Sewende-dag-Adventiste skole in Amerika, Suid-Afrika, en Australië. Hoë betroubaarheid is gevind in terme van interne konsekwentheid (Cronbach se alfas tussen .855 tot .943) en strukturele vergelykings-modellering (gestandaardiseerde korrelasie koëffisiënte tussen .59 tot .95) vir die vier sikliese en lewenslange Christelike spirituele ontwikkelingsprosesse: Verbinding, Begrip, Bediening, en Toerusting. Bevestigende faktorontleding deur middel van strukturele vergelykings-modellering het bewyse gelewer van konstrukgeldigheid met voldoende model paslikheid. Matige interfaktor-korrelasies in vergeleke met hoër korrelasies binne die faktore, het voorlopige bewyse van diskriminante geldigheid gelewer. Leerders se response op 7 GD finale opname items het die GDI se ontwerp en aanlyn gebruikersvriendelikheid verder ondersteun. Response op drie oopeinde vrae van die GDI se finale opname het baie goeie kwalitatiewe data opgelewer wat kwantitatiewe response staaf. Daarmee het persepsies oor die bruikbaarheid en toepaslikheid van die GDI as ʼn vormende self-assesserings-instrument aansienlik gegroei. Die GDI bevorder die verdure ondersoek van die ontwikkeling van Christelike spiritualiteit en groeipunte deur middel van refleksie, besinning en metakognisie. Die meeste van die opvoeders se finale onderhoudsresponse het gunstige persepsies van die GDI se bruikbaarheid en toepaslikheid in die globale Sevende-dag Adventiste onderwys-stelsel aangedui. Evaluering van strukturele vergelyksmodellering se paslikheid, asook korrelasie-ontleding lewer bewyse dat die GDI ʼn bestendige self-assesseringsinstrument is oor geslag en graad vlak. ʼn Swak korrelasie is tussen land van herkoms en leerdertellings gevind; maar kwalitatiewe data ondersteun die toepaslikheid van die GDI in elke land. Verdere geldigheidstoetsing word aanbeveel, met groter steekproewe. Ontleding van opkomende temas in die geldigheidsteekproef se leerder-response, het kwantitatiewe bevindings ondersteun. Bewyse van leerderbetrokkenheid en die positiewe potensiaal van die GDI se gebruik om Christelike spirituele ontwikkeling te bevorder, is getrianguleer. Die betroubaarheid en geldigheid van die gemengde navorsingsmetodes het matige tot sterk bewyse gelewer ter ondersteuning van die geldigheid van die GDI as ʼn kurrikulumgerigte selfassesseringsintrument vir adolessente in Christelike onderwys.
AFRIKAANSE OPSOMMING: Daar bestaan talle norm-gebaseerde meetinstrumente vir die meting van vlakke van religieusiteit en spiritualiteit vir volwassenes. Geen assessering instrument van die holistiese doelstellings van Christelike spirituele ontwikkeling in die konteks van Protestant skole, toegespits op adolessente, wat van opkomende tegnologieë gebruik maak, kon gevind word nie. Om hierdie leemte aan te spreek, was die doelwit van hierdie navorsingstudie en kurrikulumontwikkeling om die “Growing Disciples Inventory” (GDI) te ontwikkel en om die geldigheid van dié instrument te bepaal as ʼn kurrikulumgerigte selfassessering instrument vir Christelike onderwys. Deur gebruik te maak van ʼn gemengde navorsingsmetode-benadering is die GDI in die eerste fase van hierdie opvoedkundige navorsingsontwerp opgestel. Deskundiges op die gebiede van kurrikulum, assessering, Christelike onderwys en/of "dissipelskap" het die toepaslikheid van voorgestelde items vir die “Growing Disciples” (GD) kurrikulumraamwerk, asook die geskiktheid vir adolessente-leerders in Christelike onderwys geëvalueer. Ten minste vier items is vir elk van 21 konstrukte binne die vier GD kurrikulumprosesse ingesluit. Die 100-item GDI is verder verfyn deur twee ontwikkeling-siklusse van loods- of bruikbaarheidstoetsings met adolessente. Deur gebruik te maak van ʼn "hardop-dink" protokol het ʼn proporsionele kwota gerieflikheidsteekproef van 16 leerders die GDI aanlyn voltooi. Die deelnemers se onmiddellike kits-aanlyn verslae is hersien, en die 10-item finale opname is gedoen. Geringe verfynings is ontwerp met data wat verkry is van hierdie individuele onderhoude. In die tweede fase is bewyse vir die geldigheid van die GDI geëvalueer met data wat versamel is van ʼn doelgerigte steekproef van nege opvoeders en 595 graad 7 tot 12 leerders uit 8 Sewende-dag-Adventiste skole in Amerika, Suid-Afrika, en Australië. Hoë betroubaarheid is gevind in terme van interne konsekwentheid (Cronbach se alfas tussen .855 tot .943) en strukturele vergelykings-modellering (gestandaardiseerde korrelasie koëffisiënte tussen .59 tot .95) vir die vier sikliese en lewenslange Christelike spirituele ontwikkelingsprosesse: Verbinding, Begrip, Bediening, en Toerusting. Bevestigende faktorontleding deur middel van strukturele vergelykings-modellering het bewyse gelewer van konstrukgeldigheid met voldoende model paslikheid. Matige interfaktor-korrelasies in vergeleke met hoër korrelasies binne die faktore, het voorlopige bewyse van diskriminante geldigheid gelewer. Leerders se response op 7 GD finale opname items het die GDI se ontwerp en aanlyn gebruikersvriendelikheid verder ondersteun. Response op drie oopeinde vrae van die GDI se finale opname het baie goeie kwalitatiewe data opgelewer wat kwantitatiewe response staaf. Daarmee het persepsies oor die bruikbaarheid en toepaslikheid van die GDI as ʼn vormende self-assesserings-instrument aansienlik gegroei. Die GDI bevorder die verdure ondersoek van die ontwikkeling van Christelike spiritualiteit en groeipunte deur middel van refleksie, besinning en metakognisie. Die meeste van die opvoeders se finale onderhoudsresponse het gunstige persepsies van die GDI se bruikbaarheid en toepaslikheid in die globale Sevende-dag Adventiste onderwys-stelsel aangedui. Evaluering van strukturele vergelyksmodellering se paslikheid, asook korrelasie-ontleding lewer bewyse dat die GDI ʼn bestendige self-assesseringsinstrument is oor geslag en graad vlak. ʼn Swak korrelasie is tussen land van herkoms en leerdertellings gevind; maar kwalitatiewe data ondersteun die toepaslikheid van die GDI in elke land. Verdere geldigheidstoetsing word aanbeveel, met groter steekproewe. Ontleding van opkomende temas in die geldigheidsteekproef se leerder-response, het kwantitatiewe bevindings ondersteun. Bewyse van leerderbetrokkenheid en die positiewe potensiaal van die GDI se gebruik om Christelike spirituele ontwikkeling te bevorder, is getrianguleer. Die betroubaarheid en geldigheid van die gemengde navorsingsmetodes het matige tot sterk bewyse gelewer ter ondersteuning van die geldigheid van die GDI as ʼn kurrikulumgerigte selfassesseringsintrument vir adolessente in Christelike onderwys.
Description
Thesis (PhD)--University of Stellenbosch, 2011.
Keywords
Christian education, Spiritual development, Education design research, Religious education, Christian spiritual development, Theses -- Curriculum studies, Dissertations -- Curriculum studies, Theses -- Education, Dissertations -- Education