A comprehensive psychometric audit of an existing selection procedure
Date
2001-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Selection represents a critical human resource intervention by virtue of its ability to regulate the
movement of employees into, through and out of the organisation. Selection thus represents a
relatively visible mechanism through which access to employment opportunities can be regulated.
From the perspectives of both affirmative action and fairness, as well as utility, selection has
therefore been under intense scrutiny. This implies that there are two substantial criteria in terms of
which selection procedures need to be evaluated, namely equity and efficiency. Should the human
resource function be challenged to defend its selection procedure, it should be able to assemble
credible evidence to show the efficiency and equity of the disputed intervention by means of a
reasoned justification. The problem is, however, that most selection procedures being operated in
South Africa would probably not be able to successfully meet this burden of persuasion. The search
for equitable and efficient selection procedures thus necessitates the need for psychometric audits to
provide the feedback required to adjust selection procedures towards greater efficiency and equity,
and to provide the evidence required for the vindication of organisations should they be challenged
in terms of the South African anti-discriminatory labour legislation.
The Guidelines for the Validation and Use of Selection Procedures developed by the Society for
Industrial Psychology (1998) represents an attempt to illustrate the ideal process according to which
selection procedures should be developed and validated. Conditional on the acceptance that the
Guidelines (1998) set out the most justifiable methodology for the development and justification of
selection procedures, it becomes a necessity for organisations to periodically evaluate (i.e.
periodically psychometrically audit) their current selection procedures and its developmental history
to determine whether the human resource function can convincingly demonstrate:
.:. The business necessity of the selection procedure;
.:. The validity of the performance theory on which the selection procedure is based; and
.:. That the selection strategy combines applicant information fairly.
A checklist was developed from relevant psychometric literature for the purpose of the
psychometric audit representing a structured list of activities required to justify the use of a
selection procedure. A psychometric audit was conducted on a selection procedure for call centre staff of a large SA insurance company. The audit uncovered a number of deficiencies in the call
center selection procedure and its developmental history.
The performance hypothesis, in which the choice of operational predictor measures is grounded,
was neither developed, nor argued, nor documented with sufficient clarity to indicate
unambiguously the presumed nature of the nomological network of performance determinants and
performance constructs. Problems were found with the external validity of the validation design.
No reliability, validity, fairness or utility analyses had been performed at the time of the audit.
Subsequent correlation analysis indicates low statistically insignificant correlations between the
majority of the chosen predictors and the developed criteria. Nonetheless, linear combinations of
predictors were found for each of the three call center positions that significantly explain moderate
proportions of criterion variance. The fairness of the use of the CSR multiple regression equation
across black and white applicants was examined and found to be acceptable. Due to practical
constraints, the utility of the selection procedure has not been evaluated.
It is recommended that the current selection procedure be re-examined in detail by the company to
bring about positive changes in the performance hypothesis and the operational criterion measures.
Thereafter, concrete evidence of reliably generated methodological research needs to be obtained
again in order to verify the appropriateness, reliability and the meaningfulness of the inferences
made from predictor assessments, thereby limiting, ifnot eliminating, possible cases oflitigation.
AFRIKAANSE OPSOMMING: Seleksie verteenwoordig 'n kritieke menslikehulpbronintervensie omdat dit die vermoë het om die beweging van werknemers in, deur en uit 'n organisasie te reguleer. Seleksie verteenwoordig dus 'n relatief sigbare meganisme waarmee toegang tot werksgeleenthede gereguleer word. Uit die oogpunt van sowel regstellende aksie as regverdigheid, en ook bruikbaarheid, is seleksie tans geweldig onder die vergrootglas. Hiermee word geïmpliseer dat die twee substansiële kriteria waarvolgens seleksieprosedures geëvalueer moet word, billikheid en doeltreffendheid is. Sou die menslikehulpbronfunksie uitgedaag word om sy seleksieprosedure te verdedig, sal dit met geloofwaardige bewyse voor 'n dag moet kan kom om die regverdigheid en doeltreffendheid van die intervensie onder bespreking deur middel van logiese argumente te regverdig. Die probleem is egter dat die meeste seleksieprosedures wat in Suid Afrika gebruik word, waarskynlik nie aan hierdie vereiste sal kan voldoen nie. Die soeke na regverdige en doeltreffende seleksieprosedures noodsaak dus dat die behoefte aan psigometriese oudits. aangespreek word vir die terugvoer wat nodig -is om die seleksieprosedures meer doeltreffend en regverdig te maak. Dit salook terselfdertyd die bewyse verskaf waardeur organisasies hul keuringsprosedures kan regverdig indien teen organisasies opgetree sou word in terme van Suid Afrika se antidiskriminerende arbeidswetgewing. Die "Guidelines for the Validation and Use of Selection Procedures" wat deur die Vereniging vir Bedryfsielkunde (1998) ontwikkel is, is 'n poging om die ideale proses waarvolgens seleksieprosedures ontwikkel en gevalideer behoort te word, te illustreer. Op voorwaarde dat hierdie Riglyne (1998) aanvaar word as die mees regverdigbare metodologie wat betref die ontwikkeling en regverdiging van seleksieprosedures, word dit noodsaaklik dat organisasies hulle seleksieprosedures en die ontwikkelingsgeskiedenis daarvan van tyd tot tyd evalueer (d.i. 'n periodieke psigometriese oudit) ten einde vas te stelof die menslikehulpbronfunksie die volgende oortuigend kan demonstreer: .:. die noodsaaklikheid van die seleksieprosedure uit 'n besigheidsoogpunt; .:. die geldigheid van die prestasieteorie waarop die seleksieprosedure gebaseer is; en .:. dat die seleksiestrategie die inligting van die aansoeker regverdig kombineer. 'n Kontrolelys is ontwikkel uit relevante psigometriese bronne sodat die psigometriese oudit 'n gestruktureerde lys van aktiwiteite bevat wat die gebruik van 'n seleksieprosedure sal kan regverdig. 'n Psigometriese oudit is gedoen op 'n seleksieprosedure vir die inbelpersoneel van 'n groot Suid Afrikaanse versekeringsfirma. Die oudit het 'n aantal gebreke in hierdie seleksieprosedure en sy ontwikkelingsgeskiedenis uitgewys. Die prestasiehipotese waarop die keuse van operasionele voorspellers gegrond is, was nie met voldoende helderheid ontwikkel, beredeneer of gedokumenteer om 'n onomwonde aanduiding te gee van die nomologiese netwerk van prestasiedeterminante en prestasiekonstrukte nie. Die eksterne geldigheid van die valideringsontwerp was ook problematies. Geen betroubaarheids-, geldigheids-, billikheids- of nutanalises is ten tyde van die oudit uitgevoer nie. 'n Daaropvolgende korrelasie-analise dui op lae, statisties onbeduidende korrelasies tussen die meerderheid van die gekose voorspellers en die ontwikkelde kriteria. Daar is desnieteenstaande lineêre kombinasies van voorspellers gevind vir elk van die drie inbelsentrumposte wat beduidend matige proporsies kriteriumvariansie verklaar. Die billikheid van die gebruik van die CSR meervoudige regressievergelyking vir wit en swart aansoekers is ondersoek en aanvaarbaar gevind. As gevolg van praktiese beperkinge is die nut van die seleksieprosedure nie geëvalueer nie. Daar word aanbeveel dat die huidige seleksieprosedure weer noukeurig deur die maatskappy ondersoek sal word om positiewe veranderinge aan die prestasiehipotese en die operasionele kriteriumtellings aan te bring. Daarna moet konkrete bewyse uit betroubaar gegenereerde, metodologiese navorsing weereens verkry word om die relevansie, betroubaarheid en betekenisvolheid van die afleidings wat gemaak is op grond van voorspellerevaluerings te verifieer, om op dié manier moontlike regsgedinge te beperk, indien nie uit te skakel nie.
AFRIKAANSE OPSOMMING: Seleksie verteenwoordig 'n kritieke menslikehulpbronintervensie omdat dit die vermoë het om die beweging van werknemers in, deur en uit 'n organisasie te reguleer. Seleksie verteenwoordig dus 'n relatief sigbare meganisme waarmee toegang tot werksgeleenthede gereguleer word. Uit die oogpunt van sowel regstellende aksie as regverdigheid, en ook bruikbaarheid, is seleksie tans geweldig onder die vergrootglas. Hiermee word geïmpliseer dat die twee substansiële kriteria waarvolgens seleksieprosedures geëvalueer moet word, billikheid en doeltreffendheid is. Sou die menslikehulpbronfunksie uitgedaag word om sy seleksieprosedure te verdedig, sal dit met geloofwaardige bewyse voor 'n dag moet kan kom om die regverdigheid en doeltreffendheid van die intervensie onder bespreking deur middel van logiese argumente te regverdig. Die probleem is egter dat die meeste seleksieprosedures wat in Suid Afrika gebruik word, waarskynlik nie aan hierdie vereiste sal kan voldoen nie. Die soeke na regverdige en doeltreffende seleksieprosedures noodsaak dus dat die behoefte aan psigometriese oudits. aangespreek word vir die terugvoer wat nodig -is om die seleksieprosedures meer doeltreffend en regverdig te maak. Dit salook terselfdertyd die bewyse verskaf waardeur organisasies hul keuringsprosedures kan regverdig indien teen organisasies opgetree sou word in terme van Suid Afrika se antidiskriminerende arbeidswetgewing. Die "Guidelines for the Validation and Use of Selection Procedures" wat deur die Vereniging vir Bedryfsielkunde (1998) ontwikkel is, is 'n poging om die ideale proses waarvolgens seleksieprosedures ontwikkel en gevalideer behoort te word, te illustreer. Op voorwaarde dat hierdie Riglyne (1998) aanvaar word as die mees regverdigbare metodologie wat betref die ontwikkeling en regverdiging van seleksieprosedures, word dit noodsaaklik dat organisasies hulle seleksieprosedures en die ontwikkelingsgeskiedenis daarvan van tyd tot tyd evalueer (d.i. 'n periodieke psigometriese oudit) ten einde vas te stelof die menslikehulpbronfunksie die volgende oortuigend kan demonstreer: .:. die noodsaaklikheid van die seleksieprosedure uit 'n besigheidsoogpunt; .:. die geldigheid van die prestasieteorie waarop die seleksieprosedure gebaseer is; en .:. dat die seleksiestrategie die inligting van die aansoeker regverdig kombineer. 'n Kontrolelys is ontwikkel uit relevante psigometriese bronne sodat die psigometriese oudit 'n gestruktureerde lys van aktiwiteite bevat wat die gebruik van 'n seleksieprosedure sal kan regverdig. 'n Psigometriese oudit is gedoen op 'n seleksieprosedure vir die inbelpersoneel van 'n groot Suid Afrikaanse versekeringsfirma. Die oudit het 'n aantal gebreke in hierdie seleksieprosedure en sy ontwikkelingsgeskiedenis uitgewys. Die prestasiehipotese waarop die keuse van operasionele voorspellers gegrond is, was nie met voldoende helderheid ontwikkel, beredeneer of gedokumenteer om 'n onomwonde aanduiding te gee van die nomologiese netwerk van prestasiedeterminante en prestasiekonstrukte nie. Die eksterne geldigheid van die valideringsontwerp was ook problematies. Geen betroubaarheids-, geldigheids-, billikheids- of nutanalises is ten tyde van die oudit uitgevoer nie. 'n Daaropvolgende korrelasie-analise dui op lae, statisties onbeduidende korrelasies tussen die meerderheid van die gekose voorspellers en die ontwikkelde kriteria. Daar is desnieteenstaande lineêre kombinasies van voorspellers gevind vir elk van die drie inbelsentrumposte wat beduidend matige proporsies kriteriumvariansie verklaar. Die billikheid van die gebruik van die CSR meervoudige regressievergelyking vir wit en swart aansoekers is ondersoek en aanvaarbaar gevind. As gevolg van praktiese beperkinge is die nut van die seleksieprosedure nie geëvalueer nie. Daar word aanbeveel dat die huidige seleksieprosedure weer noukeurig deur die maatskappy ondersoek sal word om positiewe veranderinge aan die prestasiehipotese en die operasionele kriteriumtellings aan te bring. Daarna moet konkrete bewyse uit betroubaar gegenereerde, metodologiese navorsing weereens verkry word om die relevansie, betroubaarheid en betekenisvolheid van die afleidings wat gemaak is op grond van voorspellerevaluerings te verifieer, om op dié manier moontlike regsgedinge te beperk, indien nie uit te skakel nie.
Description
Thesis (MA)--University of Stellenbosch, 2001.
Keywords
Employee selection -- South Africa, Insurance companies -- Employees -- Selection and appointment -- South Africa, Call centers -- Employees -- Selection and appointment -- South Africa, Dissertations -- Industrial psychology, Theses -- Industrial psychology