Measurement invariance of the PCQ-24 over ethnic groups in South Africa
Date
2021-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY : In South Africa, psychological assessment is governed by strict legal parameters and practitioners are required to proactively show that their measures are valid, reliable, unbiased and can be fairly applied across groups (Republic of South Africa, 1998, p. 7). Despite the increased research interest regarding culturally appropriate measurement practices in the field, group comparisons are routinely reported in literature and presented as true differences in the construct of interest, without considering, and testing for the possibility of bias in assessment. This is highly concerning as if practitioners are not cognisant of potential biases in measurement, research findings can be misleading with severe impacts on individuals as well as the organisation (Steenkamp & Baumgartner, 1998).
Measurement invariance is introduced as a rigorous manner of testing for measurement bias and meeting the requirements of the Employment Equity Act. In particular, the study aims to investigate the measurement invariance and equivalence of the Psychological Capital Scale (PCQ-24). The PCQ-24 is a well-researched positive psychological construct which has been demonstrated to be valid and reliable in the South African context (e.g. Bernstein & Volpe, 2016; Görgens-Ekermans & Herbert, 2013; Roemer & Harris, 2018; Van Wyk, 2016). To date however, to the knowledge of the researcher and her supervisor, no measurement invariance study has been conducted on the PCQ-24 across ethnic groups in the South African context. The study therefore aimed to evaluate measurement invariance and equivalence according to the taxonomy proposed by Dunbar, Spangenberg and Theron (2011) by testing the significance of difference in fit between subsequent measurement models with increasing constraints placed on the model. The analyses were conducted on archival data which was obtained from previous Masters studies which involved Psychological Capital (PsyCap). The data obtained was sufficient to perform the measurement invariance analyses over Black, White and Coloured ethnic groups.
According to the Dunbar et al. (2011) methodology, the PCQ-24 showed evidence of a lack of construct bias and a lack of non-uniform bias. This indicated that the PCQ-24 measured the same underlying construct across the Black, White and Coloured groups. There was vast evidence however, of uniform bias as well as error variance bias toward the Black and Coloured groups (Dunbar et al., 2011; Wu, Li & Zumbo, 2007). This suggested a group membership main effect, i.e. group membership explained significant variance in item responses, not explained by the latent variable (Fontaine, 2008). Furthermore, the presence of error variance bias in some of the items suggested that there was systematic residual variance influencing respondents’ item scores, not attributed to the underlying variable (Wu et al., 2007). In line with previous PsyCap research, the negatively keyed items in the scale proved to be problematic throughout the analyses. Notwithstanding, the results revealed a potentially more salient problem, specifically for the Black sample. Consequently, the PCQ-24 demonstrated metric, partial scalar, partial conditional probability equivalence. The study offers potential explanations for the sources of bias prevalent in the study, as well as recommendations for future practitioners utilising the PCQ-24. Finally, a contribution of the study is that it provides a recommendation for enhancement of the Dunbar et al. (2011) taxonomy for future measurement invariance studies.
AFRIKAANSE OPSOMMING : In Suid-Afrika word sielkundige assessering deur streng regsparameters beheer en daar word van praktisyns verwag om proaktief aan te toon dat hul maatreëls geldig, betroubaar, onbevooroordeeld is en regverdig toegepas kan word in groepe (Republiek van Suid-Afrika, 2014, p. 7). Ondanks die verhoogde navorsingsbelangstelling met betrekking tot kultuurtoepaslike metingspraktyke in die veld, word groepvergelykings gereeld in die literatuur gerapporteer en as ware verskille in die struktuur van belangstelling voorgestel, sonder om die moontlikheid van sydigheid in assessering te oorweeg. Dit is baie kommerwekkend, aangesien praktisyns nie kennis dra van potensiële sydighede in meting nie en kan navorsingsbevindinge misleidend wees met ernstige impak op individue, sowel as die organisasie (Steenkamp & Baumgartner, 1998). Meting-invariansie word ingestel as 'n noukeurige manier om metingssydigheid te toets en aan die vereistes van die Wet op Billike Indiensneming te voldoen. In die besonder beoog die studie om die meting-invariansie en meting-ekwivalensie van die Psychological Capital Scale (PCQ-24) te ondersoek. Die PCQ-24 is 'n goed nagevorsde, positiewe sielkundige konstruk wat bewys is dat dit geldig en betroubaar is in die Suid-Afrikaanse konteks (bv. Bernstein & Volpe, 2016; Görgens-Ekermans & Herbert, 2013; Roemer & Harris, 2018; Van Wyk, 2016). Tot die kennis van die navorser en haar studieleier is daar tot dusver nog geen meting-invariansie-studie gedoen oor die PCQ-24 in rasgroepe in die Suid-Afrikaanse konteks nie. Die studie het dus ten doel gehad om meting-invariansie en ekwivalensie te evalueer volgens die taksonomie voorgestel deur Dunbar, Spangenberg en Theron (2011) deur die belangrikheid van die verskil in pas tussen die daaropvolgende meetmodelle met toenemende beperkings op die model te toets. Die ontledings is gedoen op argiefdata wat verkry is uit vorige meestersgraadstudies waarby Psychological Capital (PsyCap) betrokke was. Die data wat verkry is, was voldoende om die meting-invariansie-ontledings oor swart, wit en gekleurde rasgroepe uit te voer. Volgens die Dunbar et al. (2011) se metodiek het die PCQ-24 bewys gelewer van 'n gebrek aan konstruksydigheid en 'n gebrek aan nie-eenvormige sydigheid. Dit het aangedui dat die PCQ-24 dieselfde onderliggende konstruk gemeet het in die swart, wit en gekleurde groepe. Daar was egter groot bewyse van eenvormige sydigheid sowel as foutafwykingsydigheid teenoor die swart en gekleurde groepe (Dunbar et al., 2011; Wu, Li & Zumbo, 2007). Dit het 'n hoofeffek van die groeplidmaatskap voorgestel, in ander woorde, het die groeplidmaatskap 'n beduidende variansie in itemresponse verklaar, nie verduidelik deur die latente veranderlike nie (Fontaine, 2008). Verder het die teenwoordigheid van foutafwykingsydigheid in sommige van die items voorgestel dat daar stelselmatige oorblywende variansie was, wat respondente se artikeltellings beïnvloed, nie toegeskryf aan die onderliggende veranderlike nie (Wu et al., 2007). In ooreenstemming met vorige PsyCap-navorsing was die negatiewe sleutelitems in die skaal tydens die ontledings problematies. Desondanks het die resultate 'n meer opvallende probleem aan die lig gebring, spesifiek vir die swart groep. Gevolglik het die PCQ-24 metrieke, gedeeltelike skalêre, gedeeltelike voorwaardelike waarskynlikheids-ekwivalensie getoon. Die studie bied moontlike verklarings vir die bronne van sydigheid wat in die studie voorkom, asook aanbevelings vir toekomstige praktisyns wat die PCQ-24 gebruik. Laastens is die bydrae van die studie dat dit 'n aanbeveling gee vir die verbetering van die Dunbar et al. (2011) taksonomie vir toekomstige meting-invariansie studies.
AFRIKAANSE OPSOMMING : In Suid-Afrika word sielkundige assessering deur streng regsparameters beheer en daar word van praktisyns verwag om proaktief aan te toon dat hul maatreëls geldig, betroubaar, onbevooroordeeld is en regverdig toegepas kan word in groepe (Republiek van Suid-Afrika, 2014, p. 7). Ondanks die verhoogde navorsingsbelangstelling met betrekking tot kultuurtoepaslike metingspraktyke in die veld, word groepvergelykings gereeld in die literatuur gerapporteer en as ware verskille in die struktuur van belangstelling voorgestel, sonder om die moontlikheid van sydigheid in assessering te oorweeg. Dit is baie kommerwekkend, aangesien praktisyns nie kennis dra van potensiële sydighede in meting nie en kan navorsingsbevindinge misleidend wees met ernstige impak op individue, sowel as die organisasie (Steenkamp & Baumgartner, 1998). Meting-invariansie word ingestel as 'n noukeurige manier om metingssydigheid te toets en aan die vereistes van die Wet op Billike Indiensneming te voldoen. In die besonder beoog die studie om die meting-invariansie en meting-ekwivalensie van die Psychological Capital Scale (PCQ-24) te ondersoek. Die PCQ-24 is 'n goed nagevorsde, positiewe sielkundige konstruk wat bewys is dat dit geldig en betroubaar is in die Suid-Afrikaanse konteks (bv. Bernstein & Volpe, 2016; Görgens-Ekermans & Herbert, 2013; Roemer & Harris, 2018; Van Wyk, 2016). Tot die kennis van die navorser en haar studieleier is daar tot dusver nog geen meting-invariansie-studie gedoen oor die PCQ-24 in rasgroepe in die Suid-Afrikaanse konteks nie. Die studie het dus ten doel gehad om meting-invariansie en ekwivalensie te evalueer volgens die taksonomie voorgestel deur Dunbar, Spangenberg en Theron (2011) deur die belangrikheid van die verskil in pas tussen die daaropvolgende meetmodelle met toenemende beperkings op die model te toets. Die ontledings is gedoen op argiefdata wat verkry is uit vorige meestersgraadstudies waarby Psychological Capital (PsyCap) betrokke was. Die data wat verkry is, was voldoende om die meting-invariansie-ontledings oor swart, wit en gekleurde rasgroepe uit te voer. Volgens die Dunbar et al. (2011) se metodiek het die PCQ-24 bewys gelewer van 'n gebrek aan konstruksydigheid en 'n gebrek aan nie-eenvormige sydigheid. Dit het aangedui dat die PCQ-24 dieselfde onderliggende konstruk gemeet het in die swart, wit en gekleurde groepe. Daar was egter groot bewyse van eenvormige sydigheid sowel as foutafwykingsydigheid teenoor die swart en gekleurde groepe (Dunbar et al., 2011; Wu, Li & Zumbo, 2007). Dit het 'n hoofeffek van die groeplidmaatskap voorgestel, in ander woorde, het die groeplidmaatskap 'n beduidende variansie in itemresponse verklaar, nie verduidelik deur die latente veranderlike nie (Fontaine, 2008). Verder het die teenwoordigheid van foutafwykingsydigheid in sommige van die items voorgestel dat daar stelselmatige oorblywende variansie was, wat respondente se artikeltellings beïnvloed, nie toegeskryf aan die onderliggende veranderlike nie (Wu et al., 2007). In ooreenstemming met vorige PsyCap-navorsing was die negatiewe sleutelitems in die skaal tydens die ontledings problematies. Desondanks het die resultate 'n meer opvallende probleem aan die lig gebring, spesifiek vir die swart groep. Gevolglik het die PCQ-24 metrieke, gedeeltelike skalêre, gedeeltelike voorwaardelike waarskynlikheids-ekwivalensie getoon. Die studie bied moontlike verklarings vir die bronne van sydigheid wat in die studie voorkom, asook aanbevelings vir toekomstige praktisyns wat die PCQ-24 gebruik. Laastens is die bydrae van die studie dat dit 'n aanbeveling gee vir die verbetering van die Dunbar et al. (2011) taksonomie vir toekomstige meting-invariansie studies.
Description
Thesis (MCom)--Stellenbosch University, 2021.
Keywords
Measurement invariance, Psychological tests -- Cultural aspects -- South Africa, Self-efficacy, Optimism, Hope, Resilience (Personality trait), Test bias, Psychological Capital Questionnaire -- South Africa, UCTD