An investigation into the measurement invariance and measurement equivalence of the South African personality inventory across gender groups in South Africa
Date
2019-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY : Personality assessments are commonly used as predictor measures in employment selection due to substantial empirical evidence proving that personality constructs explain and predict employee performance and behaviour in organisational settings. Before conclusions can be made that inter-group differences in observed scores are caused by valid cross-group differences in the latent personality variables being assessed, the possibility of measurement bias being the cause must be nullified. Measurement bias refers to group-related error in the measurement of a specific construct carrying a specific constitutive definition. In this sense measurement bias refers to two hierarchically related questions, namely (a) whether the same construct, carrying a specific constitutive definition, is measured across groups, and if so (b) whether the same construct is measured in the same way across groups (i.e. whether a specific standing on the latent variable being assessed is associated with the same expected observed score or probability of achieving a specific observed score across groups).
Measurement bias comprises method bias, construct bias and item bias. The current study utilised a stringent definition of item bias that states that item bias occurs if the regression of observed item responses on the underlying latent dimension the item is designated to reflect, differs in terms of intercept (uniform bias), and/or slope (non-uniform bias) and/or error variance (error variance bias) across groups. When conceptualising measurement bias from the perspective of mean and covariance structure (MACS) analysis, the terms measurement invariance and measurement equivalence are typically used. Both measurement invariance and equivalence pertains to the question whether the slope, intercept or error variance of the regression of the item responses on the latent personality dimensions being measured differ across groups.
Dunbar et al. (2011) proposed a clear distinction between measurement invariance and measurement equivalence. Measurement invariance investigates whether a multigroup measurement model in which the factor structure (i.e. number of personality factors and the items’ loading pattern on the factors) is constrained to be identical across multiple groups and in which (a) no parameters are constrained to be equal across the groups, (b) some parameters are constrained to be equal across the groups, fits the data obtained from two or more samples closely (Dunbar et al., 2011). The five hierarchical levels of measurement invariance include configural invariance, weak invariance, strong invariance, strict invariance and complete invariance (Dunbar et al., 2011). Measurement equivalence, investigates whether a multigroup measurement model in which the structure but no parameters is constrained to be equal across groups fits the data of multiple groups significantly better than a multigroup measurement model in which the structure and specific parameters are constrained to be equal across groups. Dunbar et al. (2011) also proposed four hierarchical levels of measurement equivalence, namely metric equivalence, scalar equivalence, conditional probability equivalence and full equivalence
The current study investigates the measurement invariance and measurement equivalence of the South African Personality Inventory (SAPI) across gender groups in South Africa. The SAPI demonstrated a lack of construct bias and a lack of non-uniform bias. The SAPI measured the same construct across the two samples groups, but the item content of some items were perceived and interpreted differently between the two gender groups. Metric – partial scalar - partial conditional probability equivalence was demonstrated. Consequential implications and recommendations relating to the study findings for the test developers and human resource practitioners are discussed.
AFRIKAANSE OPSOMMING : Persoonlikheidsassesserings word algemeen gebruik as voorspellers in seleksie van werknemers as gevolg van oortuigende empiriese bewyse wat daarop dui dat persoonlikheidskonstrukte werknemerprestasie en -gedrag verklaar en voorspel. Voordat daar egter gevolgtrekkings gemaak kan word dat intergroepverskille in waargenome tellings veroorsaak word deur geldige kruisgroepverskille in die latente persoonlikheidsveranderlikes wat geassesseer word, moet die moontlikheid van metingsydigheid uitgeskakel word. Metingsydigheid verwys na groepverwante foute in die meting van spesifieke konstrukte wat 'n spesifieke konstitutiewe definisie dra soos bepaal deur die toetsontwikkelaar. Metingsydigheid verwys in hierdie konteks na twee hiërargies verwante vrae, naamlik (a) of dieselfde konstruk, wat 'n spesifieke konstitutiewe definisie dra, oor groepe gemeet word, en indien wel, (b) of dieselfde konstruk op dieselfde wyse oor groepe gemeet word (d.w.s. of 'n spesifieke vlak op die geassesseerde latente veranderlike, oor groepe geassosieer word met dieselfde verwagte waargenome telling of waarskynlikheid om 'n spesifieke waargenome telling te behaal). Metingsydigheid bestaan uit metodesydigheid, konstruksydigheid en itemsydigheid. Die huidige studie handhaaf 'n streng definisie van itemsydigheid wat daarop dui dat itemsydigheid plaasvind indien die regressie van waargenome itemresponse op die onderliggende latente dimensies wat die item aangewys is om te reflekteer, verskil in terme van afsnit (eenvormige sydigheid) en/of helling (nie-eenvormige sydigheid) en/of foutvariansie (foutvariansiesydigheid) oor groepe. Wanneer metingsydigheid vanuit die perspektief van gemiddelde en kovariansie-struktuur (MACS) analise gekonseptualiseer word, word die terme meting- invariansie en meting-ekwivalensie tipies gebruik. Beide meting-invariansie en -ekwivalensie hou verband met die vraag of die afsnit, helling en/of foutvariansie van die item -ntwoorde se regressie op die latente persoonlikheidsdimensies, verskil tussen groepe. Dunbar et al. (2011) beklemtoon 'n duidelike onderskeid tussen meting-invariansie en meting-ekwivalensie. Meting-invariansie ondersoek of 'n multigroepmetingsmodel waarin die faktorstruktuur (d.w.s. die aantal persoonlikheidsfaktore en die items se ladingpatroon op die faktore) beperk word om identies te wees oor verskeie groepe en waarin (a) geen parameters beperk word om gelyk te wees oor die groepe, (b) sommige parameters beperk word om gelyk te wees oor die groepe, die data wat uit twee of meer steekproewe verkry word pas (Dunbar et al., 2011). Die vyf hiërargiese vlakke van meting-invariansie sluit in konfiguratiewe invariansie, swak-invariansie, sterk-invariansie, streng-invariansie en volledige invariansie (Dunbar et al., 2011). Meting-ekwivalensie ondersoek of 'n multigroepmetingsmodel waarin die struktuur maar geen parameters beperk word om gelyk te wees oor groepe, die data van veelvuldige groepe beduidend beter pas as 'n multigroepmetingsmodel waarin die struktuur en spesifieke parameters beperk word om gelyk te wees oor die groepe. Dunbar et al. (2011) het ook vier hiërargiese vlakke van meting-ekwivalensie voorgestel, naamlik metriese ekwivalensie, skalaar-ekwivalensie, voorwaardelike waarskynlikheid ekwivalensie en volle ekwivalensie. Die huidige studie ondersoek die meting-invariansie en meting-ekwivalensie van die Suid-Afrikaanse Persoonlikheidsinventaris (SAPI) oor geslagsgroepe in Suid-Afrika. Die studie-resultate toon dat die SAPI 'n gebrek aan konstruksydigheid en 'n gebrek aan nie-eenvormige sydigheid demonstreer. Die SAPI het dieselfde konstruk vir die twee groepe gemeet, maar die iteminhoud van die enkele items is verskillend waargeneem en geïnterpreteer tussen die twee geslagsgroepe. Metriese - gedeeltelike skalaar - gedeeltelike voorwaardelike waarskynlikheid ekwivalensie is gedemonstreer. Na aanleiding van die studie-resultate word implikasies en aanbevelings vir die toetsontwikkelaars en menslike hulpbronpraktisyns bespreek.
AFRIKAANSE OPSOMMING : Persoonlikheidsassesserings word algemeen gebruik as voorspellers in seleksie van werknemers as gevolg van oortuigende empiriese bewyse wat daarop dui dat persoonlikheidskonstrukte werknemerprestasie en -gedrag verklaar en voorspel. Voordat daar egter gevolgtrekkings gemaak kan word dat intergroepverskille in waargenome tellings veroorsaak word deur geldige kruisgroepverskille in die latente persoonlikheidsveranderlikes wat geassesseer word, moet die moontlikheid van metingsydigheid uitgeskakel word. Metingsydigheid verwys na groepverwante foute in die meting van spesifieke konstrukte wat 'n spesifieke konstitutiewe definisie dra soos bepaal deur die toetsontwikkelaar. Metingsydigheid verwys in hierdie konteks na twee hiërargies verwante vrae, naamlik (a) of dieselfde konstruk, wat 'n spesifieke konstitutiewe definisie dra, oor groepe gemeet word, en indien wel, (b) of dieselfde konstruk op dieselfde wyse oor groepe gemeet word (d.w.s. of 'n spesifieke vlak op die geassesseerde latente veranderlike, oor groepe geassosieer word met dieselfde verwagte waargenome telling of waarskynlikheid om 'n spesifieke waargenome telling te behaal). Metingsydigheid bestaan uit metodesydigheid, konstruksydigheid en itemsydigheid. Die huidige studie handhaaf 'n streng definisie van itemsydigheid wat daarop dui dat itemsydigheid plaasvind indien die regressie van waargenome itemresponse op die onderliggende latente dimensies wat die item aangewys is om te reflekteer, verskil in terme van afsnit (eenvormige sydigheid) en/of helling (nie-eenvormige sydigheid) en/of foutvariansie (foutvariansiesydigheid) oor groepe. Wanneer metingsydigheid vanuit die perspektief van gemiddelde en kovariansie-struktuur (MACS) analise gekonseptualiseer word, word die terme meting- invariansie en meting-ekwivalensie tipies gebruik. Beide meting-invariansie en -ekwivalensie hou verband met die vraag of die afsnit, helling en/of foutvariansie van die item -ntwoorde se regressie op die latente persoonlikheidsdimensies, verskil tussen groepe. Dunbar et al. (2011) beklemtoon 'n duidelike onderskeid tussen meting-invariansie en meting-ekwivalensie. Meting-invariansie ondersoek of 'n multigroepmetingsmodel waarin die faktorstruktuur (d.w.s. die aantal persoonlikheidsfaktore en die items se ladingpatroon op die faktore) beperk word om identies te wees oor verskeie groepe en waarin (a) geen parameters beperk word om gelyk te wees oor die groepe, (b) sommige parameters beperk word om gelyk te wees oor die groepe, die data wat uit twee of meer steekproewe verkry word pas (Dunbar et al., 2011). Die vyf hiërargiese vlakke van meting-invariansie sluit in konfiguratiewe invariansie, swak-invariansie, sterk-invariansie, streng-invariansie en volledige invariansie (Dunbar et al., 2011). Meting-ekwivalensie ondersoek of 'n multigroepmetingsmodel waarin die struktuur maar geen parameters beperk word om gelyk te wees oor groepe, die data van veelvuldige groepe beduidend beter pas as 'n multigroepmetingsmodel waarin die struktuur en spesifieke parameters beperk word om gelyk te wees oor die groepe. Dunbar et al. (2011) het ook vier hiërargiese vlakke van meting-ekwivalensie voorgestel, naamlik metriese ekwivalensie, skalaar-ekwivalensie, voorwaardelike waarskynlikheid ekwivalensie en volle ekwivalensie. Die huidige studie ondersoek die meting-invariansie en meting-ekwivalensie van die Suid-Afrikaanse Persoonlikheidsinventaris (SAPI) oor geslagsgroepe in Suid-Afrika. Die studie-resultate toon dat die SAPI 'n gebrek aan konstruksydigheid en 'n gebrek aan nie-eenvormige sydigheid demonstreer. Die SAPI het dieselfde konstruk vir die twee groepe gemeet, maar die iteminhoud van die enkele items is verskillend waargeneem en geïnterpreteer tussen die twee geslagsgroepe. Metriese - gedeeltelike skalaar - gedeeltelike voorwaardelike waarskynlikheid ekwivalensie is gedemonstreer. Na aanleiding van die studie-resultate word implikasies en aanbevelings vir die toetsontwikkelaars en menslike hulpbronpraktisyns bespreek.
Description
Thesis (MCom)--Stellenbosch University, 2019.
Keywords
South African Personality Inventory (SAPI), Personality questionnaires -- South Africa, Errors-in-variables models, Measurement invariance, Measurement bias, Gender, UCTD