Psychometric implications of corrections for attenuation and restriction of range for selection validation research
Date
1999-03
Authors
Theron, Carl Christiaan
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The conditions under which selection procedures are typically validated and those prevailing at the
eventual use of a selection procedure normally differ to a sufficient extent to challenge the relevance of
the validation research evidence. Statistical corrections to the validity coefficient are generally available.
The remainder of the argument in terms of which a selection procedure is developed and justified could,
however, also be biased by any discrepancy between the conditions under which the selection procedure
is simulated and those prevailing at the eventual use of the selection procedure. Relatively little concern,
however, seem to exist for the transportability of the decision function derived from the selection
simulation or the descriptions/ assessments of selection decision utility and fairness. This seems to be a
somewhat strange state of affairs. The external validity problems with validation designs are reasonably
well documented. It is thus not as if the psychometric literature is unaware of the problem of
generalizing validation study research fmdings to the eventual area of application. The decision function
is probably the pivot of the selection procedure in that it firstly captures the underlying performance
theory, but more importantly from a practical perspective, because it guides the actual accept and reject
choices of applicants. Restricting the statistical corrections to the validity coefficient would leave the
decision function unaltered even though it might also be distorted by the same factors affecting the
validity coefficient. Basically the same logic also applies to the evaluation of the decision rule in terms of
selection utility and fairness. Correcting only the validity coefficient would leave the "bottom-line"
evaluation of the selection procedure unaltered. Restricting the statistical corrections to the validity
coefficient basically means that practically speaking nothing really changes. The fundamental research
objective is to determine whether any discrepancy between the conditions under which the selection
procedure is simulated and those prevailing at the eventual use of the selection procedure produces bias
in estimates required to specify and justify the procedure; to delineate appropriate statistical corrections
of the validity coefficient, decision rule and descriptions/ assessments of selection decision utility and -1<
fairness, required to align the contexts of evaluation/validation and application; and to determine
whether the corrections should be applied in validation research. The study provides no unqualified
answers to the question whether corrections for various forms of range restriction and/ or criterion
unreliability should be applied to the validity coefficient, the standard error of the validity coefficient or
the parameters of the regression of the criterion on the predictor. Under specific conditions the
corrections do affect decisions on the validity of performance hypotheses due to its effect on decisions
on the significance of the uncorrected versus the corrected validity coefficient. Under specific conditions
the corrections do affect decisions on applicants, especially when selection decisions are not restricted by
selection quotas, due to its effect on the slope and intercept parameters of the regression of Y on X,
and/ or due to its effect on the standard error of estimate.
AFRIKAANSE OPSOMMING: Die toestande waaronder keuringsprosedures tipes gevalideer word en die toestande waaronder die prosedure uiteindelik gebruik word, verskil normaalweg tot so 'n mate dat die relevansie van die bevindinge in die gedrang kom. Statistiese korreksies vir die geldigheidskoeffisient is algemeen beskikbaar. Die res van die argument in terme waarvan 'n keuringsprosedure ontwikkel en regverdig word kan egter ook verwring word deur dieselfde verskille tussen die toestande waaronder die keuringsprosedure gesimuleer word en die waaronder die prosedure uiteindelik gebruik word. Relatief min kommer bestaan skynbaar egter ten opsigte van die oordraagbaarheid van die besluitnemingsfunksie wat onder die gesimuleerde toestande ontwikkel is of ten opsigte van die verkree beskrywings van nut en billikheid. Hierdie toedrag van sake val ietwat vreemd op. Die eksteme geldigheidprobleme geassosieer met validasie-ontwerpe is redelik goed gedokumenteer. Dit is dus nie asof die psigometrika-literatuur onbewus is van die probleem wat by die veralgemening van resultate van geldigheidstudies ter sprake is nie. Die besluitnemingsfunksie is waarskynlik die spil waarom die keuringsprosedure draai daarin dat dit die onderliggende prestasie-teorie vergestalt, maar meer belangrik, daarin dat dit die daadwerklike aanvaarding en verwerping van applikante bepaal. Indien statistiese korreksies tot die geldigheidskoeffisient beperk word bly die besluitnemingsfunksie onveranderd, alhoewel dit ook moontlik verwring mag word deur dieselfde faktore wat sydigheid in die geldigheidskoeffisient te weeg bring. Dieselfde logika geld ook ten opsigte van die evaluasie van die besluitnemingsfunksie in terme van nut en billikheid. Indien slegs die geldigheidskoeffisient gekorrigeer word bly d.e "bottom-line" evaluasie van die keuringsprosedure onveranderd. Prakties gesproke dus, verander niks indien statistiese korreksies tot die geldigheidskoeffisient beperk word. Die fundamentele navorsingsdoelstelling is om vas te stel of verskille tussen die toestande waaronder die keuringsprosedure gevalideer word, en die toestande waaronder die prosedure uiteindelik gebruik word, sydigheid te weeg bring in die maatstawwe wat vereis word om die keuringsprosedure te spesifiseer en te regverdig; om toepaslike statistiese korreksies vir die geldigheidskoeffisient, besluitnnemingsreel en beskrywings van nut en billikheid af te lei ten einde die kontekste van simulasie/ validasie en toepassing te versoen; en om vas te stel of sodanige korreksies wel in validasie-navorsing toegepas behoort te word. Die studie verskaf geen ongekwalifiseerde antwoord op die vraag of korreksies vir die verskeie vorms van variansie-inperking en/ of kriterium onbetroubaarheid op die geldigheidskoeffisient, die standaardfout van die geldigheidskoefisient of die parameters van die regressie van die kriterium op die voorspeller toegepas behoort te word nie. Die korreksies affekteer wel besluite aangaande die geldigheid van prestasiehipoteses onder spesifieke toestande. Die korreksies het ook onder bepaalde toestande 'n effek op besluite aangaande applikante deur hul effek op die regressiekoeffisiente en/ of die standaardskattingsfout.
AFRIKAANSE OPSOMMING: Die toestande waaronder keuringsprosedures tipes gevalideer word en die toestande waaronder die prosedure uiteindelik gebruik word, verskil normaalweg tot so 'n mate dat die relevansie van die bevindinge in die gedrang kom. Statistiese korreksies vir die geldigheidskoeffisient is algemeen beskikbaar. Die res van die argument in terme waarvan 'n keuringsprosedure ontwikkel en regverdig word kan egter ook verwring word deur dieselfde verskille tussen die toestande waaronder die keuringsprosedure gesimuleer word en die waaronder die prosedure uiteindelik gebruik word. Relatief min kommer bestaan skynbaar egter ten opsigte van die oordraagbaarheid van die besluitnemingsfunksie wat onder die gesimuleerde toestande ontwikkel is of ten opsigte van die verkree beskrywings van nut en billikheid. Hierdie toedrag van sake val ietwat vreemd op. Die eksteme geldigheidprobleme geassosieer met validasie-ontwerpe is redelik goed gedokumenteer. Dit is dus nie asof die psigometrika-literatuur onbewus is van die probleem wat by die veralgemening van resultate van geldigheidstudies ter sprake is nie. Die besluitnemingsfunksie is waarskynlik die spil waarom die keuringsprosedure draai daarin dat dit die onderliggende prestasie-teorie vergestalt, maar meer belangrik, daarin dat dit die daadwerklike aanvaarding en verwerping van applikante bepaal. Indien statistiese korreksies tot die geldigheidskoeffisient beperk word bly die besluitnemingsfunksie onveranderd, alhoewel dit ook moontlik verwring mag word deur dieselfde faktore wat sydigheid in die geldigheidskoeffisient te weeg bring. Dieselfde logika geld ook ten opsigte van die evaluasie van die besluitnemingsfunksie in terme van nut en billikheid. Indien slegs die geldigheidskoeffisient gekorrigeer word bly d.e "bottom-line" evaluasie van die keuringsprosedure onveranderd. Prakties gesproke dus, verander niks indien statistiese korreksies tot die geldigheidskoeffisient beperk word. Die fundamentele navorsingsdoelstelling is om vas te stel of verskille tussen die toestande waaronder die keuringsprosedure gevalideer word, en die toestande waaronder die prosedure uiteindelik gebruik word, sydigheid te weeg bring in die maatstawwe wat vereis word om die keuringsprosedure te spesifiseer en te regverdig; om toepaslike statistiese korreksies vir die geldigheidskoeffisient, besluitnnemingsreel en beskrywings van nut en billikheid af te lei ten einde die kontekste van simulasie/ validasie en toepassing te versoen; en om vas te stel of sodanige korreksies wel in validasie-navorsing toegepas behoort te word. Die studie verskaf geen ongekwalifiseerde antwoord op die vraag of korreksies vir die verskeie vorms van variansie-inperking en/ of kriterium onbetroubaarheid op die geldigheidskoeffisient, die standaardfout van die geldigheidskoefisient of die parameters van die regressie van die kriterium op die voorspeller toegepas behoort te word nie. Die korreksies affekteer wel besluite aangaande die geldigheid van prestasiehipoteses onder spesifieke toestande. Die korreksies het ook onder bepaalde toestande 'n effek op besluite aangaande applikante deur hul effek op die regressiekoeffisiente en/ of die standaardskattingsfout.
Description
Dissertation (D.Phil.) -- University of Stellenbosch, 1999.
Keywords
Employee selection, Psychometrics, Employment tests, Dissertations -- Industrial psychology, Theses -- Industrial psychology