Validation of a selection battery used by the South African Military Academy
Date
2010-12
Authors
Pretorius, Marlize
Redelinghuys, Marlize
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : University of Stellenbosch
Abstract
ENGLISH ABSTRACT: The objective of this study is to determine whether the psychometric evaluation procedure, used by the South African Military Academy to make selection decisions, can validly predict academic performance of first year learners, whether this procedure is fair and whether the procedure is efficient. The sample used for this study consisted of three year groups (First Year Students of 2001, 2002 and 2003) enrolled at the Military Academy. In theory specific learning behaviours (learning competencies) are instrumental in attaining academic performance. These learning behaviours, in turn, depend on and are expressions of a complex nomological network of person-centered characteristics (learning competency potential). Differences in learning performance can be explained in terms of learning behaviours. Learning competencies are instrumental in achieving the learning outcomes for which the academic programme exists.
Learning competencies, in turn, can be explained in terms of learner characteristics. In order to differentiate between candidates who have better or poorer training prospects in terms of a construct orientated approach to selection, a performance hypothesis on the person-centered drivers of the learning competencies is used. It is argued that the degree of competence in: (1) the core cognitive processes/competencies that constitute learning (transfer and automatization) and are necessary to create meaningful structure in novel learning material, (2) the intellectual drivers of these learning competencies (fluid intelligence and information processing capacity), (3) proficiency in English and (4) past academic performance, should discriminate between better or poorer academic performance of learners attending the academic programmes at the SA Military Academy. The grade point average of the first year first semester academic results is used as a measure of the criterion construct.
Almost all of the results obtained in this study support the theory and propositions made by the performance hypothesis. Only one variable, accuracy of information processing, did not perform as predicted by the performance hypothesis. Prior learning explained the most variance in the criterion (r=0,4312). The inter-correlation amongst the predictors is used to infer the proportion of unique variance each predictor accounts for in the composite criterion. A regression of the composite criterion on the array of predictors (X2 – X12) revealed that only memory and understanding (X9) and prior learning (X12) uncovered relevant and unique information about determinants of performance on the criterion not conveyed by the remaining predictors in the model. The remaining predictors in the selection battery can consequently be considered redundant since they provide no new information not already conveyed by X9 and X12. When YGPA is regressed on the weighted combination of X9 and X12, only X12 significantly explains unique variance in YGPA when included in a regression model already containing X9. In the light of the reported findings there is no need to create a combined weighted linear predictor composite (Xcomp) which would form the basis of the actuarial mechanical decision rule that would guide selection decisions. Prior learning proved to be the only predictor that warrants inclusion in the actuarial mechanical prediction rule that will form the basis of selection decisions. In terms of the derived actuarial prediction rule the expected criterion performance of all applicants (E[Y|X12]) could consequently be estimated by inserting the measures obtained during selection of prior learning into the derived regression equation. The use of this equation could be regarded as permissible to the extent to which E[Y|X12] correlates significantly with YGPA. Since E[Y|X12] correlates 0,431 and statistically significantly (p<0,05) with YGPA, the predictions derived from this equation are valid.
The findings of this research suggest that black and white students were sampled from the same population and therefore the use of the single, undifferentiated prediction rule would lead to fair selection decisions. To answer the question whether the selection procedure under investigation is adding any value to the organization, utility analysis is done based on the Taylor-Russell utility model as well as the Naylor-Shine interpretation of selection utility. A criterion-referenced norm table that expresses the risk of failure conditional on expected academic performance is derived from the use of only X12. Recommendations for further research are put forward.
AFRIKAANSE OPSOMMING: Die doel van hierdie studie is om te bepaal of die psigometriese evaluasie-prosedure wat deur die Suid Afrikaanse Militêre Akademie gebruik word vir keuringsbesluite, akademiese prestasie van eerstejaar leerders geldig voorspel, en of hierdie prosedure regverdig en effektief is. Die steekproef vir hierdie studie bestaan uit drie jaargroepe (eerstejaar studente van 2001, 2002 en 2003) wat ingeskryf was by die Militêre Akademie. Teoreties is daar spesifieke leergedrag (leerbevoegdhede) wat instrumenteel is in die bereiking van akademiese prestasie. Hierdie leergedrag hang af van en is weer „n uitdrukking van „n komplekse nomologiese netwerk van persoongesentreerde eienskappe (leerbevoegdheidspotensiaal). Verskille in leerprestasie kan verklaar word in terme van leergedrag. Leerbevoegdhede is instrumenteel in die bereiking van die leeruikomste waarvoor die akademiese program bestaan. Leerbevoegdhede, op sy beurt, kan weer verklaar word in terme van leerdereienskappe. Ten einde „n onderskeid te kan tref tussen kandidate met beter of slegter opleidingsvooruitsigte, in terme van „n konstrukgeorienteerde benadering tot keuring, word „n prestasiehipotese gebruik wat gebaseer is op die persoongesentreerde drywers van die leerbevoegdhede. Dit word aangevoer dat die graad van bevoegdheid in: (1) die kern kognitiewe prosesse/bevoegdhede waaruit leer bestaan (oordrag en outomatisasie) en wat nodig is om sinvolle struktuur in nuwe leermateriaal te skep, (2) die intellektuele drywers van hierdie leerbevoegdhede (vloeibare intelligensie en informasieverwerkingskapasiteit), (3) bevoegdheid in Engels, en (4) vorige akademiese prestasie sal onderskei tussen beter of slegter akademiese prestasie van leerders wat akademiese programme by die SA Militêre Akademie bywoon. Die gemiddelde van eerstejaar eerste semester akademiese uitslae is gebruik as meting van die kriteriumkonstruk. Byna al die resultate wat in hierdie studie verkry is ondersteun die teorie en proposisies soos aangevoer deur die prestasiehipotese. Slegs een veranderlike, akkuraatheid van informasie-prosessering, het nie gereageer soos voorspel deur die prestasiehipotese nie. Vorige leer het die meeste variansie in die kriterium verklaar (r=0,4312). Die inter-korrelasie tussen die voorspellers is gebruik om die proporsie unieke variansie wat elke voorspeller in die saamgestelde kriterium verklaar te skat. „n Regressie van die saamgestelde kriterium op die reeks voorspellers (X2 – X12) toon aan dat slegs geheue en begip (X9) sowel as vorige leer (X12) relevante en unieke informasie in verband met die determinante van prestasie in die kriterium weergee wat nie reeds weergegee word deur die oorblywende voorspellers in die model nie. Die oorblywende voorspellers in die keuringsbattery kan gevolglik as oorbodig beskou word aangesien hulle geen nuwe informasie verskaf wat nie reeds deur X9 en X12 oorgedra word nie. Wanneer YGPA geregresseer word op die geweegde kombinasie van X9 en X12, verklaar slegs X12 unieke variasie in YGPA wanneer dit ingesluit word in „n regressiemodel wat alreeds X9 bevat. In die lig van die gerapporteerde bevindinge is dit onnodig om ‟n gekombineerde geweegde liniêre voorspellerkombinasie (Xcomp) te skep om as basis van „n aktuariële meganiese besluitnemingsreël te dien aan hand waarvan keuringsbesluite geneem sal word. Vorige leer blyk die enigste voorspeller te wees wat insluiting regverdig in die aktuariële meganiese besluitnemingsreël wat die basis van keuringsbesluite sal vorm. In terme van die afgeleide aktuariële besluitnemingsreël sal die verwagte kriteriumprestasie van alle toekomstige aansoekers (E[Y│X12]) geskat word deur die meting van vorige leer verkry tydens keuring in die afgeleide regressievergelyking in te stel. Die gebruik van hierdie vergelyking kan as toelaatbaar beskou word in die mate waartoe E[Y│X12] betekenisvol met YGPA korreleer. Aangesien E[Y│X12] statisties betekenisvol 0,431 (p<0,05) met YGPA korreleer, kan die voorspellings afgelei vanuit hierdie vergelyking as geldig beskou word. Die bevindinge van hierdie navorsing dui daarop dat swart en wit studente van hierdie steekproef uit dieselfde populasie geneem is en daarom sal die gebruik van „n enkele, ongedifferensieerde voorspellingsreël lei tot regverdige keuringsbesluite. Om „n antwoord te verkry op die vraag of hierdie keuringsprosedure enige waarde tot die organisasie toevoeg is „n nutanaliese gedoen wat gebaseer is op Taylor-Russell se nutmodel so wel as die Naylor-Shine interpretasie van keuringsnut. „n Kriteriumgerigde normtabel, wat die voorwaardelike risiko op mislukking gebaseer op akademiese prestasie uitdruk, is afgelei deur die gebruik van slegs X12. Aanbevelings vir verdere navorsing word voorgestel.
AFRIKAANSE OPSOMMING: Die doel van hierdie studie is om te bepaal of die psigometriese evaluasie-prosedure wat deur die Suid Afrikaanse Militêre Akademie gebruik word vir keuringsbesluite, akademiese prestasie van eerstejaar leerders geldig voorspel, en of hierdie prosedure regverdig en effektief is. Die steekproef vir hierdie studie bestaan uit drie jaargroepe (eerstejaar studente van 2001, 2002 en 2003) wat ingeskryf was by die Militêre Akademie. Teoreties is daar spesifieke leergedrag (leerbevoegdhede) wat instrumenteel is in die bereiking van akademiese prestasie. Hierdie leergedrag hang af van en is weer „n uitdrukking van „n komplekse nomologiese netwerk van persoongesentreerde eienskappe (leerbevoegdheidspotensiaal). Verskille in leerprestasie kan verklaar word in terme van leergedrag. Leerbevoegdhede is instrumenteel in die bereiking van die leeruikomste waarvoor die akademiese program bestaan. Leerbevoegdhede, op sy beurt, kan weer verklaar word in terme van leerdereienskappe. Ten einde „n onderskeid te kan tref tussen kandidate met beter of slegter opleidingsvooruitsigte, in terme van „n konstrukgeorienteerde benadering tot keuring, word „n prestasiehipotese gebruik wat gebaseer is op die persoongesentreerde drywers van die leerbevoegdhede. Dit word aangevoer dat die graad van bevoegdheid in: (1) die kern kognitiewe prosesse/bevoegdhede waaruit leer bestaan (oordrag en outomatisasie) en wat nodig is om sinvolle struktuur in nuwe leermateriaal te skep, (2) die intellektuele drywers van hierdie leerbevoegdhede (vloeibare intelligensie en informasieverwerkingskapasiteit), (3) bevoegdheid in Engels, en (4) vorige akademiese prestasie sal onderskei tussen beter of slegter akademiese prestasie van leerders wat akademiese programme by die SA Militêre Akademie bywoon. Die gemiddelde van eerstejaar eerste semester akademiese uitslae is gebruik as meting van die kriteriumkonstruk. Byna al die resultate wat in hierdie studie verkry is ondersteun die teorie en proposisies soos aangevoer deur die prestasiehipotese. Slegs een veranderlike, akkuraatheid van informasie-prosessering, het nie gereageer soos voorspel deur die prestasiehipotese nie. Vorige leer het die meeste variansie in die kriterium verklaar (r=0,4312). Die inter-korrelasie tussen die voorspellers is gebruik om die proporsie unieke variansie wat elke voorspeller in die saamgestelde kriterium verklaar te skat. „n Regressie van die saamgestelde kriterium op die reeks voorspellers (X2 – X12) toon aan dat slegs geheue en begip (X9) sowel as vorige leer (X12) relevante en unieke informasie in verband met die determinante van prestasie in die kriterium weergee wat nie reeds weergegee word deur die oorblywende voorspellers in die model nie. Die oorblywende voorspellers in die keuringsbattery kan gevolglik as oorbodig beskou word aangesien hulle geen nuwe informasie verskaf wat nie reeds deur X9 en X12 oorgedra word nie. Wanneer YGPA geregresseer word op die geweegde kombinasie van X9 en X12, verklaar slegs X12 unieke variasie in YGPA wanneer dit ingesluit word in „n regressiemodel wat alreeds X9 bevat. In die lig van die gerapporteerde bevindinge is dit onnodig om ‟n gekombineerde geweegde liniêre voorspellerkombinasie (Xcomp) te skep om as basis van „n aktuariële meganiese besluitnemingsreël te dien aan hand waarvan keuringsbesluite geneem sal word. Vorige leer blyk die enigste voorspeller te wees wat insluiting regverdig in die aktuariële meganiese besluitnemingsreël wat die basis van keuringsbesluite sal vorm. In terme van die afgeleide aktuariële besluitnemingsreël sal die verwagte kriteriumprestasie van alle toekomstige aansoekers (E[Y│X12]) geskat word deur die meting van vorige leer verkry tydens keuring in die afgeleide regressievergelyking in te stel. Die gebruik van hierdie vergelyking kan as toelaatbaar beskou word in die mate waartoe E[Y│X12] betekenisvol met YGPA korreleer. Aangesien E[Y│X12] statisties betekenisvol 0,431 (p<0,05) met YGPA korreleer, kan die voorspellings afgelei vanuit hierdie vergelyking as geldig beskou word. Die bevindinge van hierdie navorsing dui daarop dat swart en wit studente van hierdie steekproef uit dieselfde populasie geneem is en daarom sal die gebruik van „n enkele, ongedifferensieerde voorspellingsreël lei tot regverdige keuringsbesluite. Om „n antwoord te verkry op die vraag of hierdie keuringsprosedure enige waarde tot die organisasie toevoeg is „n nutanaliese gedoen wat gebaseer is op Taylor-Russell se nutmodel so wel as die Naylor-Shine interpretasie van keuringsnut. „n Kriteriumgerigde normtabel, wat die voorwaardelike risiko op mislukking gebaseer op akademiese prestasie uitdruk, is afgelei deur die gebruik van slegs X12. Aanbevelings vir verdere navorsing word voorgestel.
Description
Thesis (MComm (Industrial Psychology))--University of Stellenbosch, 2010.
Keywords
Employee selection, Learning potential, APIL-battery, South Africa Military Academy, Dissertations -- Industrial psychology, Theses -- Industrial psychology, Psychometric evaluation, Academic performance