The development and psychometric evaluation of a graduate leader competency questionnaire
Date
2020-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT : The impending retirement of a large number of industry’s senior and most influential leaders (mostly from Generation X) around the world is increasingly putting pressure on HR departments to be able to identify management potential from and accelerate the leadership development of the latest generation to enter the workforce (i.e. Generation Y) in order to deliver a supply of high calibre executives and leaders for the future. In order to diagnose the causes of low levels of employability amongst Generation Y graduates emanating from South African universities, to inform the recruitment and selection of these graduates as well as their development upon entry into the organisation, and to inform interventions aimed at the development of psychological states that affect (intrinsic) work motivation and lower turnover intention, that in turn, are all necessary prerequisites for the development of effective leadership acceleration programmes, the complex nomological network of latent variables characterising the graduate employee (i.e. transient psychological states, malleable attainments and rather inflexible, non-malleable dispositions) and characterising the work environment (i.e. job characteristics, job demands, span of control, etc.) that affect graduate leader performance and turnover, first need to be validly mapped and understood. This research challenge naturally broaches the questions as to what graduate leader performance means, and secondly, how graduate leader performance can be measured.
The research design utilised a mixed method approach (coupling quantitative and qualitative methodologies) to develop answers to these afore-mentioned questions. The long-term goal was ultimately to conceptualise the graduate leader performance construct (i.e. what graduate leader performance means) as a five-domain job performance hypothesis (i.e. a competency model approach to job performance) in which the relevant latent variables in the competency potential, competency, competency outcomes, competency requirements and job and organisational characteristics domains of this performance space are structurally mapped onto each other in a richly interconnected network of cause-and-effect relationships. Thus, the aforementioned competency model in terms of the abstract (and as-of-yet unknown) latent variables that populate its different domains needed to be fully explicated and empirically tested. However, as the full explication of such a multidomain hypothesis was considered a massive and overly ambitious undertaking and implied a multiphase project spanning a considerable amount of time, the focus of the present study was limited to the explication of the behavioural (or competency) domain of graduate leader performance only (or first). The explication of the other domains of the competency model (i.e. competency potential, competency outcomes, competency requirements and the job and organisational characteristics domains) will have to be targeted by future studies as a matter of priority. The explication of the behavioural requirements of (graduate) leader performance ensued by way of a wide-ranging literature study on leadership and managerial requirements for the 21st century and in excess of 100 (first order) competencies were initially identified as being relevant to this cause. Thematic analysis was employed to group the (first-order) competencies into nine internally consistent themes and the relevance of these across South African organisations were confirmed through the employment of the Delphi method administered on sample of subject matter experts in the field. This led to hypothesising about the nature of the relationships between the nine (second-order) competencies and the derivation of a structural model that depicted the to-be-tested internal structure of the graduate leader performance construct (behaviourally interpreted). The question as to how graduate leader performance could be measured, on the other hand, was dealt with by developing an instrument (i.e. the PGLCQ) that could be used to measure these nine second-order competencies. The qualitative part of the study (more specifically the Critical Incident Technique field work) served as the basis for item development and the creation of behavioural anchors for these items. The PGLCQ eventually comprised of 90 questions (10 questions per competency) and utilised 5-point rating scales. The psychometric properties of the PGLCQ were examined on a sample of n=133 graduate leaders. While the initial plan was to collect multi-rater data (from the graduate leader and his or her manager) with which to analyse the psychometric properties of the PGLCQ, the data collection exercise was marred with a poor completion rate either from the side of the graduate or the manager (an incomplete response from either rendered the specific case unusable), and consequently this aim unfortunately did not realise. Nonetheless, the psychometric evaluation of the nine subscales of the PGLCQ by way of item and dimensionality analysis (self-rater responses) delivered results that were compatible with the position that all of them provided an adequate measure of the specific latent competency variables they were designed to assess (i.e. acceptable evidence was obtained to conclude their reliability and validity). The reliability coefficients of the different subscales of the PGLCQ were, moreover, found to be of an exceptional standard and the subsequent fitting of the overall PGLCQ measurement model led to the conclusion of close fit in the parameter. In addition, as the LISLEL output suggested that the item parcels of the PGLCQ competency questionnaire measurement model loaded satisfactorily and significantly on the latent variables they were earmarked to reflect, and the PGLCQ measurement model passed all tests of discriminant validity, the operationalisation of the latent variables that the graduate leader structural model comprises of were considered successful. On the other hand, when fitting the graduate leader performance construct to the comprehensive LISREL model, despite the fact that the exact and close fit hypotheses had to be rejected, acceptable model fit was nonetheless concluded as the Two-Index Presentation strategy combination rules provided sufficient evidence to argue that the fitted model was able to sufficiently accurately approximate the observed variance-covariance matrix. However, out of the eighteen path-specific hypotheses originally proposed, six could unfortunately not be corroborated. Five path coefficients associated with five path-specific hypotheses were found to be statistically insignificant in the beta matrix, while only one path coefficient associated with one path-specific hypothesis was found to be statistically insignificant in the gamma matrix. Nonetheless, support garnered for twelve of the original path-specific hypotheses resulted in the validation of a graduate leader performance (behaviourally interpreted) explanatory model, even if the internal structural relations between the latent variables included in the final model differed somewhat from the manner in which this psychological mechanism was initially thought to operate. Therefore, this study advances the quest for the availability and effective functioning of leaders in South African organisations via the practical suggestions offered for improving and accelerating leadership development as well as suggestions for future research to build on this, thus making a significant contribution to the development of a leading best practice approach to the recruitment, selection and development of high-performance graduate leaders for South Africa’s future.
AFRIKAANSE OPSOMMING : Die naderende aftrede van groot hoeveelhede van industrie se senior en mees invloedryke leiers (meestal van Generasie X) op ’n globale vlak plaas toenemende druk op Menslike Hulpbron departemente om bestuurs-potensiaal in die nuutste generasie (Generasie Y) van werknemers te kan identifiseer en ontwikkel om sodoende ’n toepaslike hoeveelheid van hoë kaliber uitvoerende bestuur beskikbaar te hê vir die toekoms. Om die oorsake van lae vlakke van indiensneembaarheid van Generasie Y graduante te kan diagnoseer, om die werwing en keuring van hierdie graduante in te lig, en om intervensies in te lig wat fokus op die ontwikkeling van psigologiese toestande wat werks-motivering en werknemers se intensie om aan te bly in die organisasie aanmoedig, wat op hul beurt alles voorvereistes is vir die ontwikkeling van effektiewe leierskapontwikkeling programme, is dit nodig om die komplekse nomologiese netwerk van latente verandelikes wat die Generasie Y graduantwerknemer (psigologiese toestande, smeebare vaardighede en nie-smeebare gesindhede/talente) en die werksplek (werk kenmerke, werkseise, mate van beheer oor werk, ens.) kenmerk wat graduant prestasie en hulle intensie om aan te bly in die organisasie affekteer, in ‘n geldige manier to modelleer en op ‘n dieper vlak te verstaan. Hierdie uitdaging vir navorsers opper dus natuurlik die vrae van wat graduant leier prestasie beteken, en tweedens, hoe graduant leier prestasie gemeet kan word. Die studie se navorsingsontwerp het ‘n gemengde metode benadering (kwalitatiewe and kwantitatiewe metodologie) gebruik om antwoorde te soek op hierdie bogenoemde vrae. Die langtermyn doelwit was om die graduantleier-prestasiekonstruk (die vraag van wat graduantleier-prestasie beteken) te konseptualiseer as ‘n vyf-domein werksprestasie-hipotese (‘n bevoegdheidsmodel benadering tot werskprestasie) waarin die relevante latente veranderlikes in die bevoegdheidspotensiaal, bevoegdheid (gedrag), bevoegdheidsuitkomstes, bevoegdheidsvereistes, en werk en organisatoriese kenmerke domeine van hierdie abstrakte prestasie ruimte struktureel op mekaar gemodelleer word in ‘n ryk onderling gekoppelde stelsel van oorsaak-en-gevolg verhoudings. Dus moes hierdie bevoegdheidsmodel in terme van die abstrakte (en onbekende) latente veranderlikes wat die model se verskillende domeine vul ten volle ekspliseer en empiries getoets word. Omdat die volle eksplikasie van so ‘n multi-domein hipotese as ‘n reuse onderneming beoordeel was en ‘n multi-fase projek impliseer het wat uitgerol sou moes word oor ‘n aansienlike periode van tyd, was die fokus van die huidige studie beperk tot the eksplisering van die gedrag (of bevoegdheids) domein van graduantleier-prestasie alleen (of eerste). Die eksplisering van die ander domeine van die bevoegdheidsmodel (potensiaal, uitkomstes, vereistes en die werk en organisatoriese kenmerke) sal dus geteiken moet word deur toekomstige studies as ‘n saak van prioriteit. Die eksplisering van die gedragsvereistes van (graduant) leierprestasie het begin met ‘n omvattende literatuurstudie op leiersksap and bestuursvereistes vir die 21ste eeu, en meer as 100 (eerste-orde) bevoegdhede was oorspronklik identifiseer en klassifiseer as relevant vir hierdie doel. Tematiese analise was gebruik om die eerste-order bevoeghede to groepeer in nege interne konsekwente temas en die relevansie van die temas was bevestig in Suid Afrikaanse organisasies met behulp van die gebruik van die Delphi metode wat geadminstreer was op steekproef van vakkundiges in die veld. Dit het gelei tot die ontwikkeling van hipoteses oor die aard van die verwantskap tussen die nege (tweede-orde) bevoegdhede en die afleiding van ‘n strukturele model wat die teoretiese interne struktuur van die graduantleier-prestasiekonstruk (gëinterpreer in terme van gedrag) uitgebeeld het. Die vraag van hoe graduantleier-prestasie gemeet kan word, aan die ander kant, was beantwoord deur die ontwikkling van ‘n instrument (die PGLCQ) wat kon gebruik word om hierdie nege tweede-orde bevoegdhede te meet. Die kwalitatiewe deel van die studie (en meer spesifiek die Kritieke Insident Tegniek) was gebruik as die basis vir itemontwikkeling en die skepping van gedragsankers vir die items. Die PGLCQ het uiteindelik uit 90 vrae bestaan (10 vrae vir elke bevoegdheid) en het gebruik gemaak van 5-punt beoordelingskale. Die psigometriese eienskappe van die PGLCQ was beoordeel op ‘n steekproef van n=133 graduantleiers. Alhoewel die oorsponklike doel was om multi-beoordelaar data (vanaf die graduantleier en sy of haar bestuurder) in te samel en dit te gebruik om die psigometriese eienskappe van die PGLCQ te analiseer, was data-insameling belemmer deur ‘n swak voltooingskoers aan die kant van die graduant of die bestuurder (‘n onvoltooide respons van enige een van hierde respondente het die geval onbruikbaar gemaak), en hierdie voorneme het dus nie gerealiser nie. Nietemin, die psigometriese evaluering van die nege subskale van die PGLCQ (persoonlike beoordelings) deur middel van item en dimensionaliteit ontledings het resultate gelewer wat verenigbaar is met die posisie dat al die subskale voldoende metings verskaf het van die latente bevoegdheidsveranderlikes wat hulle geoormerk was om te beoordeel (aanvaarbare bewyse was gelewer om hul geldigheid en betroubaarheid te beaam). Die betroubaarheidskoëffisiënte van die subskale was verder van ‘n uitsonderlike standaard en die passing van die algehele PGLCQ metings-model daarna het gelei tot die bevinding van goeie passing in die parameter. Daarbenewens en siende dat die LISREL afvoer suggereer het dat die item pakkies van die PGLCQ metings-model bevredigend en beduidend gelaai het op die latente veranderlikes wat hulle geoormerk was om te reflekteer, en dat die metings-model alle toetse van diskriminante geldigheid geslaag het, was die operasionalisering van die latente veranderlikes wat ingesluit was in die graduant leier prestasie strukturele model beskou as suksesvol. Aan die ander kant, toe die volledige graduant leier prestasie LISREL-model gepas was, en ten spyte van die feit dat presiese en nabye passing verwerp moes word, was aanvaarbare passing nietemin bereik soos beoordeel in terme van die Twee-Indeks strategie kombinasie reëls wat voldoende bewyse voorsien het om te kan argumenteer dat die gepasde model in staat was om die waargenome variansie-kovariansie matriks redelik akkuraat te kon skat. Ses uit die oorspronklike pad-spesifieke hipoteses kon egter nie bevestig word nie. Vyf koëffisiënte geassosieër met vyf pad-spesifieke hipoteses was statisties onbeduidend in die beta matriks, en een koëffisiënt was statisties onbeduidend in the gamma matriks. Nietemin, die bevinding dat twaalf van die oorspronklike pad-spesifieke hipoteses statisties beduidend was het gelei tot die validering van ’n graduant leier prestasie (geïnterpreteer in terme van gedrag) verklarende model, al het die interne strukturele verhoudings tussen die latente veranderlikes in die finale model ietwat verskil van hoe hierdie psigologiese meganisme oorspronklik gekarteer was. As sulks het die studie vooruitgang gemaak in die strewe na die beskikbaarheid en effektiewe funksionering van leiers in Suid Afrikaanse organisasies via die praktiese voorstelle vir die verbetering en bevordering van leierskapontwikkeling sowel as die voorstelle vir toekomstige navorsing om hierop te bou, en dus het die studie ’n beduidende bydrae gemaak tot die ontwikkeling van ‘n toonaangewenede beste praktyk benadering tot die werwing, seleksie en ontwikkeling van hoë prestasie leiers vir Suid Afrika se toekoms.
AFRIKAANSE OPSOMMING : Die naderende aftrede van groot hoeveelhede van industrie se senior en mees invloedryke leiers (meestal van Generasie X) op ’n globale vlak plaas toenemende druk op Menslike Hulpbron departemente om bestuurs-potensiaal in die nuutste generasie (Generasie Y) van werknemers te kan identifiseer en ontwikkel om sodoende ’n toepaslike hoeveelheid van hoë kaliber uitvoerende bestuur beskikbaar te hê vir die toekoms. Om die oorsake van lae vlakke van indiensneembaarheid van Generasie Y graduante te kan diagnoseer, om die werwing en keuring van hierdie graduante in te lig, en om intervensies in te lig wat fokus op die ontwikkeling van psigologiese toestande wat werks-motivering en werknemers se intensie om aan te bly in die organisasie aanmoedig, wat op hul beurt alles voorvereistes is vir die ontwikkeling van effektiewe leierskapontwikkeling programme, is dit nodig om die komplekse nomologiese netwerk van latente verandelikes wat die Generasie Y graduantwerknemer (psigologiese toestande, smeebare vaardighede en nie-smeebare gesindhede/talente) en die werksplek (werk kenmerke, werkseise, mate van beheer oor werk, ens.) kenmerk wat graduant prestasie en hulle intensie om aan te bly in die organisasie affekteer, in ‘n geldige manier to modelleer en op ‘n dieper vlak te verstaan. Hierdie uitdaging vir navorsers opper dus natuurlik die vrae van wat graduant leier prestasie beteken, en tweedens, hoe graduant leier prestasie gemeet kan word. Die studie se navorsingsontwerp het ‘n gemengde metode benadering (kwalitatiewe and kwantitatiewe metodologie) gebruik om antwoorde te soek op hierdie bogenoemde vrae. Die langtermyn doelwit was om die graduantleier-prestasiekonstruk (die vraag van wat graduantleier-prestasie beteken) te konseptualiseer as ‘n vyf-domein werksprestasie-hipotese (‘n bevoegdheidsmodel benadering tot werskprestasie) waarin die relevante latente veranderlikes in die bevoegdheidspotensiaal, bevoegdheid (gedrag), bevoegdheidsuitkomstes, bevoegdheidsvereistes, en werk en organisatoriese kenmerke domeine van hierdie abstrakte prestasie ruimte struktureel op mekaar gemodelleer word in ‘n ryk onderling gekoppelde stelsel van oorsaak-en-gevolg verhoudings. Dus moes hierdie bevoegdheidsmodel in terme van die abstrakte (en onbekende) latente veranderlikes wat die model se verskillende domeine vul ten volle ekspliseer en empiries getoets word. Omdat die volle eksplikasie van so ‘n multi-domein hipotese as ‘n reuse onderneming beoordeel was en ‘n multi-fase projek impliseer het wat uitgerol sou moes word oor ‘n aansienlike periode van tyd, was die fokus van die huidige studie beperk tot the eksplisering van die gedrag (of bevoegdheids) domein van graduantleier-prestasie alleen (of eerste). Die eksplisering van die ander domeine van die bevoegdheidsmodel (potensiaal, uitkomstes, vereistes en die werk en organisatoriese kenmerke) sal dus geteiken moet word deur toekomstige studies as ‘n saak van prioriteit. Die eksplisering van die gedragsvereistes van (graduant) leierprestasie het begin met ‘n omvattende literatuurstudie op leiersksap and bestuursvereistes vir die 21ste eeu, en meer as 100 (eerste-orde) bevoegdhede was oorspronklik identifiseer en klassifiseer as relevant vir hierdie doel. Tematiese analise was gebruik om die eerste-order bevoeghede to groepeer in nege interne konsekwente temas en die relevansie van die temas was bevestig in Suid Afrikaanse organisasies met behulp van die gebruik van die Delphi metode wat geadminstreer was op steekproef van vakkundiges in die veld. Dit het gelei tot die ontwikkeling van hipoteses oor die aard van die verwantskap tussen die nege (tweede-orde) bevoegdhede en die afleiding van ‘n strukturele model wat die teoretiese interne struktuur van die graduantleier-prestasiekonstruk (gëinterpreer in terme van gedrag) uitgebeeld het. Die vraag van hoe graduantleier-prestasie gemeet kan word, aan die ander kant, was beantwoord deur die ontwikkling van ‘n instrument (die PGLCQ) wat kon gebruik word om hierdie nege tweede-orde bevoegdhede te meet. Die kwalitatiewe deel van die studie (en meer spesifiek die Kritieke Insident Tegniek) was gebruik as die basis vir itemontwikkeling en die skepping van gedragsankers vir die items. Die PGLCQ het uiteindelik uit 90 vrae bestaan (10 vrae vir elke bevoegdheid) en het gebruik gemaak van 5-punt beoordelingskale. Die psigometriese eienskappe van die PGLCQ was beoordeel op ‘n steekproef van n=133 graduantleiers. Alhoewel die oorsponklike doel was om multi-beoordelaar data (vanaf die graduantleier en sy of haar bestuurder) in te samel en dit te gebruik om die psigometriese eienskappe van die PGLCQ te analiseer, was data-insameling belemmer deur ‘n swak voltooingskoers aan die kant van die graduant of die bestuurder (‘n onvoltooide respons van enige een van hierde respondente het die geval onbruikbaar gemaak), en hierdie voorneme het dus nie gerealiser nie. Nietemin, die psigometriese evaluering van die nege subskale van die PGLCQ (persoonlike beoordelings) deur middel van item en dimensionaliteit ontledings het resultate gelewer wat verenigbaar is met die posisie dat al die subskale voldoende metings verskaf het van die latente bevoegdheidsveranderlikes wat hulle geoormerk was om te beoordeel (aanvaarbare bewyse was gelewer om hul geldigheid en betroubaarheid te beaam). Die betroubaarheidskoëffisiënte van die subskale was verder van ‘n uitsonderlike standaard en die passing van die algehele PGLCQ metings-model daarna het gelei tot die bevinding van goeie passing in die parameter. Daarbenewens en siende dat die LISREL afvoer suggereer het dat die item pakkies van die PGLCQ metings-model bevredigend en beduidend gelaai het op die latente veranderlikes wat hulle geoormerk was om te reflekteer, en dat die metings-model alle toetse van diskriminante geldigheid geslaag het, was die operasionalisering van die latente veranderlikes wat ingesluit was in die graduant leier prestasie strukturele model beskou as suksesvol. Aan die ander kant, toe die volledige graduant leier prestasie LISREL-model gepas was, en ten spyte van die feit dat presiese en nabye passing verwerp moes word, was aanvaarbare passing nietemin bereik soos beoordeel in terme van die Twee-Indeks strategie kombinasie reëls wat voldoende bewyse voorsien het om te kan argumenteer dat die gepasde model in staat was om die waargenome variansie-kovariansie matriks redelik akkuraat te kon skat. Ses uit die oorspronklike pad-spesifieke hipoteses kon egter nie bevestig word nie. Vyf koëffisiënte geassosieër met vyf pad-spesifieke hipoteses was statisties onbeduidend in die beta matriks, en een koëffisiënt was statisties onbeduidend in the gamma matriks. Nietemin, die bevinding dat twaalf van die oorspronklike pad-spesifieke hipoteses statisties beduidend was het gelei tot die validering van ’n graduant leier prestasie (geïnterpreteer in terme van gedrag) verklarende model, al het die interne strukturele verhoudings tussen die latente veranderlikes in die finale model ietwat verskil van hoe hierdie psigologiese meganisme oorspronklik gekarteer was. As sulks het die studie vooruitgang gemaak in die strewe na die beskikbaarheid en effektiewe funksionering van leiers in Suid Afrikaanse organisasies via die praktiese voorstelle vir die verbetering en bevordering van leierskapontwikkeling sowel as die voorstelle vir toekomstige navorsing om hierop te bou, en dus het die studie ’n beduidende bydrae gemaak tot die ontwikkeling van ‘n toonaangewenede beste praktyk benadering tot die werwing, seleksie en ontwikkeling van hoë prestasie leiers vir Suid Afrika se toekoms.
Description
Thesis (PhD)--Stellenbosch University, 2020.
Keywords
Graduate students -- Psychological aspects, Leadership -- Ability testing -- Mathematical models, Competency-based education, Competency-based educational tests -- Mathematical models, Psychometric tests -- Evaluation, UCTD