The validity endeavour
Date
2010-03
Authors
James, Megan
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : University of Stellenbosch
Abstract
ENGLISH ABSTRACT: Qualitative and quantitative research implies different meta-theoretical approaches to knowledge production. The former maintains a constructivist and interpretative perspective, as opposed to the latter, which exists within a realist and even positivist paradigm. Within the field of research methodology, the dominant conceptualisation of validity is based on a positivist discourse, which suggests that (social) scientific research should strive to attain an ultimate truth. This understanding of validity is difficult to achieve within a research paradigm that values the idiosyncratic world views of the participants under investigation. The introduction of CAQDAS (Computer Assisted Qualitative Data Analysis Software), however, brought with it the hope that its application would confer upon qualitative research the rigour associated with validity in a mainly positivist interpretation of the research process.
The ultimate goal of this thesis is to determine whether CAQDAS can make a significant contribution to efforts aimed at validating qualitative research. The research design employed in the present study is that of a descriptive content analysis, focussing on scientific articles that not only report qualitative studies, but also make explicit reference to the use of CAQDAS, and describe validation techniques applied during the research process. Purposive sampling was applied to select 108 articles, published from 1996 to 2009, that meet the sampling criteria and that were identified through online searches of various bibliographic databases and search engines.
The study investigates three predominant research questions concerned with the following: (1) the most commonly used software programmes; (2) trends in CAQDAS use over time; as well as (3) the validation techniques reported in examined scientific articles, distinguishing between techniques that are performed with and without the use of CAQDAS.
With regard to the first two research questions, it was found that the three most commonly used software programmes are QSR N programmes (including NUD.IST, NVivo, N4, N5 and N6), followed by Atlas.ti and MAXqda (including the earlier version winMAX), and that there has been a general increase over
iv
the past 13 years (1996-2009) in the number of qualitative research articles reporting CAQDAS use.
The exploration of validation techniques utilised in qualitative research, as reported in the examined scientific articles, demonstrated that the techniques are in most cases performed manually. Although CAQDAS offers many benefits, the predominant validation techniques reported can be, and still are, performed without CAQDAS. Techniques that would have been impossible without CAQDAS are based on the data display features of CAQDAS, as well as on the accuracy and consistency offered by CAQDAS in the execution of certain actions. The findings generated by this study seem to support the hypothesis that CAQDAS per se does not enhance validity, since it is predominantly utilised as merely a research tool.
AFRIKAANSE OPSOMMING: Kwalitatiewe en kwantitatiewe navorsing is gegrond op verskillende meta-teoretiese benaderings tot die lewering van inligting. Eersgenoemde handhaaf ‘n konstruktivistiese en interpretatiewe perspektief, teenoor laasgenoemde, wat binne ‘n paradigma bestaan wat gegrond is op realisme en positivisme. Binne die veld van navorsingsmetodologie, is die oorwegende konseptualisering van geldigheid, gebaseer op ‘n positivistiese diskoers, wat voorstel dat (sosiale) wetenskaplike navorsing daarna moet streef om ‘n absolute waarheid te bereik. Hierdie begrip van geldigheid word moeilik verwesenlik binne ‘n navorsingsparadigma wat waarde heg aan die ideosinkratiese wêreldbeskouinge van die navorsingsdeelnemers. CAQDAS (Computer Assisted Qualitative Data Analysis Software), is bekend gestel met die hoop dat die gebruik daarvan kwalitatiewe navorsing sal verleen met stiptheid wat met geldigheid geassosieer word, oorwegend binne ‘n positivistiese interpretasie van die navorsingsproses. Die oorkoepelende doelwit van hierdie tesis is om vas te stel of CAQDAS enige betekenisvolle bydrae kan maak tot pogings om die geldigheid van kwalitatiewe navorsing te verbeter. Die navorsingsontwerp van die huidige studie is die van ‘n beskrywende inhoudsanalise, wat fokus op wetenskaplike artikels wat nie net berig oor kwalitatiwe studies nie, maar ook verwys na die gebruik van CAQDAS, en die geldigheidstegnieke wat tydens die navorsingsproses toegepas is, bespreek. Doelgerigte steekproeftrekking is toegepas en 108 artikels, wat gepubliseer is vanaf 1996-2009, was geselekteer op grond van die feit dat hulle aan die seleksie kriteria voldoen. Die artikels was geïdentifiseer deur aanlyn soektogte van verskeie bibliografiese databasisse en soekenjins. Die studie ondersoek drie oorwegende navorsingsvrae met betrekking tot die volgende: (1) die sagteware programme wat die meeste gebruik word; (2) neigings in die gebruik van CAQDAS oor verloop van ‘n tydperk; sowel as (3) die geldigheidstegnieke wat in die ondersoekte wetenskaplike artikels vi gerapporteer word, deur onderskeid te tref tussen tegnieke wat met of sonder die gebruik van CAQDAS uitgevoer word. Met verwysing na die eerste twee navorsingsvrae, was dit gevind dat die drie algemeenste sagteware programme wat gebruik is, QSR N programme (insluitend NUD.IST, NVivo, N4, N5 en N6), gevolg deur Atlas.ti en MAXqda (insluitend die vroëere weergawe winMAX) is, en dat daar oor die algemeen ‘n toename is in die getal kwalitatiewe navorsingsartikels oor die afgelope 13 jaar (1996-2009), wat die gebruik van CAQDAS rapporteer. Die ondersoek na geldigheidstegnieke wat in kwalitatiewe navorsing gebruik word, soos berig in die ondersoekte wetenskaplike artikels, het getoon dat die tegnieke in die meeste gevalle sonder die gebruik van CAQDAS uitgevoer is. Ten spyte van die feit dat die gebruik van CAQDAS voordele inhou, word die meerderheid geldigheidstegnieke wat gerapporteeer word, steeds sonder die gebruik van CAQDAS uitgevoer. Tegnieke wat nie sonder die hulp van CAQDAS uitegevoer kon word nie, is gebaseer op die data vertoningsvermoë van CAQDAS, sowel as op die akkuraatheid en konsekwentheid waarmee CAQDAS sekere opdragte uitvoer. Die bevindinge wat gegenereer is deur hierdie studie blyk asof dit die hipotese ondersteun dat CAQDAS nie opsig self die geldigheid versterk nie, aangesien dit oorwegend bloot as ‘n navorsingsinstrument gebruik word.
AFRIKAANSE OPSOMMING: Kwalitatiewe en kwantitatiewe navorsing is gegrond op verskillende meta-teoretiese benaderings tot die lewering van inligting. Eersgenoemde handhaaf ‘n konstruktivistiese en interpretatiewe perspektief, teenoor laasgenoemde, wat binne ‘n paradigma bestaan wat gegrond is op realisme en positivisme. Binne die veld van navorsingsmetodologie, is die oorwegende konseptualisering van geldigheid, gebaseer op ‘n positivistiese diskoers, wat voorstel dat (sosiale) wetenskaplike navorsing daarna moet streef om ‘n absolute waarheid te bereik. Hierdie begrip van geldigheid word moeilik verwesenlik binne ‘n navorsingsparadigma wat waarde heg aan die ideosinkratiese wêreldbeskouinge van die navorsingsdeelnemers. CAQDAS (Computer Assisted Qualitative Data Analysis Software), is bekend gestel met die hoop dat die gebruik daarvan kwalitatiewe navorsing sal verleen met stiptheid wat met geldigheid geassosieer word, oorwegend binne ‘n positivistiese interpretasie van die navorsingsproses. Die oorkoepelende doelwit van hierdie tesis is om vas te stel of CAQDAS enige betekenisvolle bydrae kan maak tot pogings om die geldigheid van kwalitatiewe navorsing te verbeter. Die navorsingsontwerp van die huidige studie is die van ‘n beskrywende inhoudsanalise, wat fokus op wetenskaplike artikels wat nie net berig oor kwalitatiwe studies nie, maar ook verwys na die gebruik van CAQDAS, en die geldigheidstegnieke wat tydens die navorsingsproses toegepas is, bespreek. Doelgerigte steekproeftrekking is toegepas en 108 artikels, wat gepubliseer is vanaf 1996-2009, was geselekteer op grond van die feit dat hulle aan die seleksie kriteria voldoen. Die artikels was geïdentifiseer deur aanlyn soektogte van verskeie bibliografiese databasisse en soekenjins. Die studie ondersoek drie oorwegende navorsingsvrae met betrekking tot die volgende: (1) die sagteware programme wat die meeste gebruik word; (2) neigings in die gebruik van CAQDAS oor verloop van ‘n tydperk; sowel as (3) die geldigheidstegnieke wat in die ondersoekte wetenskaplike artikels vi gerapporteer word, deur onderskeid te tref tussen tegnieke wat met of sonder die gebruik van CAQDAS uitgevoer word. Met verwysing na die eerste twee navorsingsvrae, was dit gevind dat die drie algemeenste sagteware programme wat gebruik is, QSR N programme (insluitend NUD.IST, NVivo, N4, N5 en N6), gevolg deur Atlas.ti en MAXqda (insluitend die vroëere weergawe winMAX) is, en dat daar oor die algemeen ‘n toename is in die getal kwalitatiewe navorsingsartikels oor die afgelope 13 jaar (1996-2009), wat die gebruik van CAQDAS rapporteer. Die ondersoek na geldigheidstegnieke wat in kwalitatiewe navorsing gebruik word, soos berig in die ondersoekte wetenskaplike artikels, het getoon dat die tegnieke in die meeste gevalle sonder die gebruik van CAQDAS uitgevoer is. Ten spyte van die feit dat die gebruik van CAQDAS voordele inhou, word die meerderheid geldigheidstegnieke wat gerapporteeer word, steeds sonder die gebruik van CAQDAS uitgevoer. Tegnieke wat nie sonder die hulp van CAQDAS uitegevoer kon word nie, is gebaseer op die data vertoningsvermoë van CAQDAS, sowel as op die akkuraatheid en konsekwentheid waarmee CAQDAS sekere opdragte uitvoer. Die bevindinge wat gegenereer is deur hierdie studie blyk asof dit die hipotese ondersteun dat CAQDAS nie opsig self die geldigheid versterk nie, aangesien dit oorwegend bloot as ‘n navorsingsinstrument gebruik word.
Description
Thesis (MPhil (Sociology and Social Anthropology))--University of Stellenbosch, 2010.
Keywords
Qualitative research -- Validity, CAQDAS, Dissertations -- Sociology and social anthropology, Theses -- Sociology and social anthropology, Dissertations -- Social science methods, Theses -- Social science methods