How can virtual implementation modelling inform the scale-up of new molecular diagnostic tools for tuberculosis?
Date
2018-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The aim of this dissertation was to develop an operational model to explain why the
expected increase in the number of tuberculosis (TB) cases detected was not found in
our empirical study, Policy Relevant Outcomes from Validating Evidence on ImpacT
(PROVE IT), done in 142 health clinics in Cape Town after the roll-out of a new TB
diagnostic test, Xpert MTB/RIF (Xpert). I then used the model to model the effect of
interventions to improve the detection of TB and rifampicin resistant (RMP-R) TB.
Strategies were modelled to reduce laboratory cost for detecting TB as well as the
effect of introducing a more sensitive molecular diagnostic test, Xpert MTB/RIF Ultra
(Ultra), as a replacement for Xpert on the number of TB and RMP-R TB cases
detected.
I developed and validated an operational model using a discrete event simulation
approach for the detection of TB and RMP-R TB in a smear/culture-based algorithm
and an Xpert-based algorithm using data from published articles as well as from the
step-wedge analysis of the Xpert-based TB diagnostic algorithm in Cape Town
(PROVE IT). The model was adapted to incorporate a more sensitive molecular
diagnostic test as a replacement test for Xpert in the Xpert-based algorithm. All
comparisons between algorithms were conducted with identical population
characteristics and adherence to diagnostic algorithms.
The empirical study found no increase in the number of TB cases detected (20.9%
smear/culture-based and 17.7% with the Xpert-based algorithm) while the operational
model, using identical population characteristics and adherence to diagnostic
algorithms (adherence to algorithms as observed from the analysis of routine data in
the empirical study), showed that there were more TB cases detected in the Xpertbased
algorithm than in the smear/culture-based algorithm (an increase of 13.3%)
(Chapter 2). The model indicated that a decrease in background TB prevalence and
the extensive use of culture testing for smear-negative HIV-positive TB cases during
the smear/culture-based algorithm contributed to not finding an increase in the number
of TB cases detected in the empirical study.
When adherence to the diagnostic algorithms was modelled to be 100%, the model
indicated a 95.4% increase in the number of RMP-R TB cases detected in the Xpertbased
algorithm compared to the smear/culture-based algorithm, while the empirical study showed only a 54% increase (Chapter 3). This difference is attributable to the
differences in drug susceptibility test (DST) screening strategy between algorithms as
well as poor adherence to diagnostic algorithms. In the smear/culture-based algorithm,
only high MDR-TB risk cases are screened for RMP-R pre-treatment compared to all
presumptive TB cases screened for RMP-R with the Xpert-based algorithm. The
empirical study found that the proportion of TB cases with DST undertaken pretreatment
increased from 42.7% in the smear/culture-based algorithm to 78.9% in the Xpert-based algorithm.
The model indicated that for the Xpert-based algorithm compared to the smearbased
algorithm (with 100% adherence to algorithms), the cost per TB case detected
would increase by 114% with only a 5.5% increase in the number of TB cases
detected (Chapter 3). Even though the model indicated a small increase in the
number of TB cases detected, the real benefit of the Xpert-based algorithm is the 95.4% increase in RMP-R TB cases detected with only a 15.8% increase in the cost
per RMP-R TB case detected (Chapter 3).
The model indicated that the best approach to improve the laboratory cost per TB case
detected, would be a combined approach of increasing the TB prevalence among
presumptive cases tested by using either a triage test or other pre-screening
strategies, and a reduction in the price of Xpert cartridges (Chapter 4). With an increase
in TB prevalence among presumptive cases tested to between 25.9% – 30.8% and the
price of the Xpert cartridge reduced by 50%, the cost per TB case detected would
range from US$50 to US$59, a level that is comparable with the cost per TB case detected in the smear/culture-based algorithm (US$48.77) found in the empirical laboratory costing study.
Finally, when modelling the use of the not-yet released Xpert MTB/RIF Ultra as a
replacement for Xpert MTB/RIF (Chapter 5), the number of TB cases detected would
increase by 3.4% and RMP-R TB cases detected by 3.5%. The number of falsepositive
TB cases detected with Ultra would however increase by 166.6%. We could
not model the cost per TB case and cost per RMP-R TB case diagnosed with Ultra, as
the price is not available yet. Ultra has small benefits over that of Xpert for both the
number of TB and RMP-R TB cases detected and therefore the cost of introducing
Ultra would be an important consideration in the decision to implement Ultra. The
introduction of Ultra poses potential health system and patient related challenges due to the high number of false-positive TB cases detected. Alternative strategies, such as
alternative diagnostic algorithms, will have to be considered to find a balance between
increased detection of TB cases and unnecessarily starting patients on TB treatment
due to false positive results.
The strengths of the model used in this dissertation are that the model was developed
and validated using detailed routine data and information collected with the empirical
study on health and laboratory processes in a large number of clinics. The model made
a direct comparison between the algorithms taking into account differences in
population characteristics and adherence to algorithms. Generalisability of findings
from the model and the use of the model for other settings may be limited as the model
was validated against data from a well-resourced, urban setting, with good health and
laboratory infrastructure and therefore may not reflect reality in other settings, such rural areas.
The findings from the studies presented in this dissertation highlight the important role
that an operation model can play in informing decision makers on the optimal use of a
new diagnostic test in an operational setting, even after the rollout of the new test.
Operational modelling can therefore be an effective tool to be used to assist the health
department to optimise the way in which tests are currently used and could serve to inform decision makers about the implementation of new, more sensitive, diagnostic tests.
AFRIKAANSE OPSOMMING: Die doel van hierdie verhandeling was om ’n bedryfsmodel te ontwikkel wat verklaar waarom ons empiriese studie PROVE IT (“Policy Relevant Outcomes from Validating Evidence on ImpacT”), wat ná die bekendstelling van ’n nuwe TB-diagnostiese toets, Xpert MTB/RIF (Xpert), by 142 gesondheidsklinieke in Kaapstad gedoen is, nié die verwagte toename in opgespoorde tuberkulose- (TB-)gevalle weerspieël het nie. Daarna het ek die model gebruik om die uitwerking te modelleer van intervensies ter verbetering van die opsporing van TB en rifampisienweerstandige (“RMP-R”) TB. Strategieë is gemodelleer om laboratoriumkoste vir TB-opsporing te verlaag en om te bepaal watter uitwerking die bekendstelling van ’n meer sensitiewe molekulêre diagnostiese toets, Xpert MTB/RIF Ultra (Ultra), as plaasvervanger vir Xpert op die getal opgespoorde TB- en RMP-R TB-gevalle sal hê. Ek het ’n bedryfsmodel ontwikkel en valideer met behulp van ’n diskrete voorvalsimulasiebenadering vir die opsporing van TB en RMP-R TB in ’n smeer-/ kwekingsgebaseerde algoritme en ’n Xpert-gebaseerde algoritme. Hiervoor is data uit gepubliseerde artikels sowel as die stapsgewyse analise van die Xpert-gebaseerde TB-diagnostiese algoritme in Kaapstad (PROVE IT) gebruik. Die model is aangepas om ’n meer sensitiewe molekulêre diagnostiese toets as plaasvervanger vir Xpert by die Xpert-gebaseerde algoritme in te sluit. Alle vergelykings tussen algoritmes is met identiese populasiekenmerke en nakoming van diagnostiese algoritmes uitgevoer. Die empiriese studie het geen toename in die getal opgespoorde TB-gevalle gevind nie (20,9% smeer-/kwekingsgebaseerd en 17,7% met die Xpert-gebaseerde algoritme). Daarteenoor het die bedryfsmodel, wat gebruik gemaak het van identiese populasiekenmerke en nakoming van diagnostiese algoritmes (nakoming is waargeneem uit die ontleding van roetinedata in die empiriese studie), méér opgespoorde TB-gevalle in die Xpert-gebaseerde algoritme as in die smeer-/ kwekingsgebaseerde algoritme gevind (’n toename van 13,3%) (hoofstuk 2). Die model het getoon dat ’n afname in TB-agtergrondprevalensie en die omvattende gebruik van kwekingstoetse vir smeernegatiewe MIV-positiewe TB-gevalle in die smeer-/kwekingsgebaseerde algoritme daartoe bygedra het dat die empiriese studie nie ’n toename in opgespoorde TB-gevalle weerspieël het nie. Toe nakoming van die diagnostiese algoritmes op 100% gemodelleer is, het die model op ’n toename van 95,4% in die getal opgespoorde RMP-R TB-gevalle in die Xpertgebaseerde algoritme vergeleke met die smeer-/kwekingsgebaseerde algoritme gedui, terwyl die empiriese studie ’n toename van slegs 54% getoon het (hoofstuk 3). Hierdie verskil kan toegeskryf word aan die verskillende middelvatbaarheidstoets- (“DST”-)siftingstrategieë vir die onderskeie algoritmes, sowel as swak nakoming van diagnostiese algoritmes. Met die smeer-/kwekingsgebaseerde algoritme word slegs gevalle met ’n hoë MDR-TB-risiko vir RMP-R-voorafbehandeling gesif; met die Xpertgebaseerde algoritme, daarteenoor, word alle vermoedelike TB-gevalle vir RMP-R gesif. Die empiriese studie het bevind dat die persentasie TB-gevalle wat na aanleiding van DST voorafbehandel is, toegeneem het van 42,7% in die smeer-/ kwekingsgebaseerde algoritme tot 78,9% in die Xpert-gebaseerde algoritme. Die model het aan die lig gebring dat die koste per opgespoorde TB-geval vir die Xpertgebaseerde algoritme vergeleke met die smeer-/kwekingsgebaseerde algoritme (met 100% nakoming van algoritmes) met 114% sal styg, met ’n toename van slegs 5,5% in die getal opgespoorde TB-gevalle (hoofstuk 3). Hoewel die model op ’n klein toename in opgespoorde TB-gevalle gedui het, is die werklike voordeel van die Xpertgebaseerde algoritme die toename van 95,4% in opgespoorde RMP-R TB-gevalle, met ’n styging van slegs 15,8% in die koste per opgespoorde geval (hoofstuk 3). Daarbenewens het die model getoon dat ’n gekombineerde benadering die beste sal wees om laboratoriumkoste per opgespoorde TB-geval te verbeter. So ’n gekombineerde benadering sal bestaan uit die verhoging van TB-prevalensie onder getoetste vermoedelike gevalle deur van hetsy ’n sorterings- (triage-)toets of ander voorafsiftingstrategieë gebruik te maak, sowel as ’n verlaging in die prys van Xperttoetshouers (“cartridges”) (hoofstuk 4). Met ’n styging in TB-prevalensie onder getoetste vermoedelike gevalle tot tussen 25,9% en 30,8%, en ’n verlaging van 50% in die prys van die Xpert-toetshouer, sal die koste per opgespoorde TB-geval tussen VS$50 en VS$59 wees – wat soortgelyk is aan die koste per opgespoorde TB-geval in die smeer-/kwekingsgebaseerde algoritme (VS$48,77) wat die empiriese laboratoriumkostestudie bepaal het. Laastens het die modellering van die gebruik van die tot nog toe nievrygestelde Xpert MTB/RIF Ultra as plaasvervanger vir Xpert MTB/RIF (hoofstuk 5) daarop gedui dat opgespoorde TB-gevalle met 3,4% en opgespoorde RMP-R TB-gevalle met 3,5% sal toeneem. Die getal vals positiewe opgespoorde TB-gevalle met Ultra sal egter met 166,6% styg. Aangesien die pryse nog nie bekend is nie, kon ons nie die koste modelleer per TB- en RMP-R TB-geval wat met Ultra gediagnoseer word nie. Ultra bied betreklik klein voordele bo Xpert wat die getal opgespoorde TB- en RMP-R TBgevalle betref, en daarom sal bekendstellingskoste ’n belangrike oorweging wees in die uiteindelike besluit om Ultra implementeer. Die bekendstelling van Ultra hou ook moontlike gesondheidsisteem- en pasiëntverwante uitdagings in weens die hoë getal vals positiewe opgespoorde TB-gevalle. Alternatiewe strategieë soos alternatiewe diagnostiese algoritmes sal oorweeg moet word om ’n balans te vind tussen beter opsporing van TB-gevalle en die onnodige aanvang van TB-behandeling vir pasiënte met vals positiewe resultate. Die sterkpunte van die model wat in hierdie verhandeling gebruik is, is dat dit ontwikkel en gestaaf is met behulp van gedetailleerde roetinedata en inligting wat met die empiriese studie oor gesondheids- en laboratoriumprosesse in ’n groot getal klinieke ingesamel is. Die model het die algoritmes direk vergelyk, met inagneming van verskille in populasiekenmerke en nakoming aan algoritmes. Die veralgemeenbaarheid van bevindinge en toepassing in ander omgewings kan egter beperk wees omdat die model gestaaf is met behulp van data uit ’n hulpbronryke, stedelike omgewing met goeie gesondheids- en laboratoriuminfrastruktuur, en dus nie noodwendig die realiteit in ander omgewings soos landelike gebiede weerspieël nie. Die bevindinge van die studies wat in hierdie verhandeling aangebied word, beklemtoon die belangrike rol wat ’n bedryfsmodel kan vervul om besluitnemers oor die optimale gebruik van ’n nuwe diagnostiese toets in ’n bedryfsomgewing in te lig, selfs ná die bekendstelling van die nuwe toets. Bedryfsmodellering kan dus ’n doeltreffende instrument wees vir die gesondheidsdepartement om die huidige gebruik van toetse te optimaliseer, en kan besluitnemers in die inwerkingstelling van nuwe, meer sensitiewe diagnostiese toetse bystaan.
AFRIKAANSE OPSOMMING: Die doel van hierdie verhandeling was om ’n bedryfsmodel te ontwikkel wat verklaar waarom ons empiriese studie PROVE IT (“Policy Relevant Outcomes from Validating Evidence on ImpacT”), wat ná die bekendstelling van ’n nuwe TB-diagnostiese toets, Xpert MTB/RIF (Xpert), by 142 gesondheidsklinieke in Kaapstad gedoen is, nié die verwagte toename in opgespoorde tuberkulose- (TB-)gevalle weerspieël het nie. Daarna het ek die model gebruik om die uitwerking te modelleer van intervensies ter verbetering van die opsporing van TB en rifampisienweerstandige (“RMP-R”) TB. Strategieë is gemodelleer om laboratoriumkoste vir TB-opsporing te verlaag en om te bepaal watter uitwerking die bekendstelling van ’n meer sensitiewe molekulêre diagnostiese toets, Xpert MTB/RIF Ultra (Ultra), as plaasvervanger vir Xpert op die getal opgespoorde TB- en RMP-R TB-gevalle sal hê. Ek het ’n bedryfsmodel ontwikkel en valideer met behulp van ’n diskrete voorvalsimulasiebenadering vir die opsporing van TB en RMP-R TB in ’n smeer-/ kwekingsgebaseerde algoritme en ’n Xpert-gebaseerde algoritme. Hiervoor is data uit gepubliseerde artikels sowel as die stapsgewyse analise van die Xpert-gebaseerde TB-diagnostiese algoritme in Kaapstad (PROVE IT) gebruik. Die model is aangepas om ’n meer sensitiewe molekulêre diagnostiese toets as plaasvervanger vir Xpert by die Xpert-gebaseerde algoritme in te sluit. Alle vergelykings tussen algoritmes is met identiese populasiekenmerke en nakoming van diagnostiese algoritmes uitgevoer. Die empiriese studie het geen toename in die getal opgespoorde TB-gevalle gevind nie (20,9% smeer-/kwekingsgebaseerd en 17,7% met die Xpert-gebaseerde algoritme). Daarteenoor het die bedryfsmodel, wat gebruik gemaak het van identiese populasiekenmerke en nakoming van diagnostiese algoritmes (nakoming is waargeneem uit die ontleding van roetinedata in die empiriese studie), méér opgespoorde TB-gevalle in die Xpert-gebaseerde algoritme as in die smeer-/ kwekingsgebaseerde algoritme gevind (’n toename van 13,3%) (hoofstuk 2). Die model het getoon dat ’n afname in TB-agtergrondprevalensie en die omvattende gebruik van kwekingstoetse vir smeernegatiewe MIV-positiewe TB-gevalle in die smeer-/kwekingsgebaseerde algoritme daartoe bygedra het dat die empiriese studie nie ’n toename in opgespoorde TB-gevalle weerspieël het nie. Toe nakoming van die diagnostiese algoritmes op 100% gemodelleer is, het die model op ’n toename van 95,4% in die getal opgespoorde RMP-R TB-gevalle in die Xpertgebaseerde algoritme vergeleke met die smeer-/kwekingsgebaseerde algoritme gedui, terwyl die empiriese studie ’n toename van slegs 54% getoon het (hoofstuk 3). Hierdie verskil kan toegeskryf word aan die verskillende middelvatbaarheidstoets- (“DST”-)siftingstrategieë vir die onderskeie algoritmes, sowel as swak nakoming van diagnostiese algoritmes. Met die smeer-/kwekingsgebaseerde algoritme word slegs gevalle met ’n hoë MDR-TB-risiko vir RMP-R-voorafbehandeling gesif; met die Xpertgebaseerde algoritme, daarteenoor, word alle vermoedelike TB-gevalle vir RMP-R gesif. Die empiriese studie het bevind dat die persentasie TB-gevalle wat na aanleiding van DST voorafbehandel is, toegeneem het van 42,7% in die smeer-/ kwekingsgebaseerde algoritme tot 78,9% in die Xpert-gebaseerde algoritme. Die model het aan die lig gebring dat die koste per opgespoorde TB-geval vir die Xpertgebaseerde algoritme vergeleke met die smeer-/kwekingsgebaseerde algoritme (met 100% nakoming van algoritmes) met 114% sal styg, met ’n toename van slegs 5,5% in die getal opgespoorde TB-gevalle (hoofstuk 3). Hoewel die model op ’n klein toename in opgespoorde TB-gevalle gedui het, is die werklike voordeel van die Xpertgebaseerde algoritme die toename van 95,4% in opgespoorde RMP-R TB-gevalle, met ’n styging van slegs 15,8% in die koste per opgespoorde geval (hoofstuk 3). Daarbenewens het die model getoon dat ’n gekombineerde benadering die beste sal wees om laboratoriumkoste per opgespoorde TB-geval te verbeter. So ’n gekombineerde benadering sal bestaan uit die verhoging van TB-prevalensie onder getoetste vermoedelike gevalle deur van hetsy ’n sorterings- (triage-)toets of ander voorafsiftingstrategieë gebruik te maak, sowel as ’n verlaging in die prys van Xperttoetshouers (“cartridges”) (hoofstuk 4). Met ’n styging in TB-prevalensie onder getoetste vermoedelike gevalle tot tussen 25,9% en 30,8%, en ’n verlaging van 50% in die prys van die Xpert-toetshouer, sal die koste per opgespoorde TB-geval tussen VS$50 en VS$59 wees – wat soortgelyk is aan die koste per opgespoorde TB-geval in die smeer-/kwekingsgebaseerde algoritme (VS$48,77) wat die empiriese laboratoriumkostestudie bepaal het. Laastens het die modellering van die gebruik van die tot nog toe nievrygestelde Xpert MTB/RIF Ultra as plaasvervanger vir Xpert MTB/RIF (hoofstuk 5) daarop gedui dat opgespoorde TB-gevalle met 3,4% en opgespoorde RMP-R TB-gevalle met 3,5% sal toeneem. Die getal vals positiewe opgespoorde TB-gevalle met Ultra sal egter met 166,6% styg. Aangesien die pryse nog nie bekend is nie, kon ons nie die koste modelleer per TB- en RMP-R TB-geval wat met Ultra gediagnoseer word nie. Ultra bied betreklik klein voordele bo Xpert wat die getal opgespoorde TB- en RMP-R TBgevalle betref, en daarom sal bekendstellingskoste ’n belangrike oorweging wees in die uiteindelike besluit om Ultra implementeer. Die bekendstelling van Ultra hou ook moontlike gesondheidsisteem- en pasiëntverwante uitdagings in weens die hoë getal vals positiewe opgespoorde TB-gevalle. Alternatiewe strategieë soos alternatiewe diagnostiese algoritmes sal oorweeg moet word om ’n balans te vind tussen beter opsporing van TB-gevalle en die onnodige aanvang van TB-behandeling vir pasiënte met vals positiewe resultate. Die sterkpunte van die model wat in hierdie verhandeling gebruik is, is dat dit ontwikkel en gestaaf is met behulp van gedetailleerde roetinedata en inligting wat met die empiriese studie oor gesondheids- en laboratoriumprosesse in ’n groot getal klinieke ingesamel is. Die model het die algoritmes direk vergelyk, met inagneming van verskille in populasiekenmerke en nakoming aan algoritmes. Die veralgemeenbaarheid van bevindinge en toepassing in ander omgewings kan egter beperk wees omdat die model gestaaf is met behulp van data uit ’n hulpbronryke, stedelike omgewing met goeie gesondheids- en laboratoriuminfrastruktuur, en dus nie noodwendig die realiteit in ander omgewings soos landelike gebiede weerspieël nie. Die bevindinge van die studies wat in hierdie verhandeling aangebied word, beklemtoon die belangrike rol wat ’n bedryfsmodel kan vervul om besluitnemers oor die optimale gebruik van ’n nuwe diagnostiese toets in ’n bedryfsomgewing in te lig, selfs ná die bekendstelling van die nuwe toets. Bedryfsmodellering kan dus ’n doeltreffende instrument wees vir die gesondheidsdepartement om die huidige gebruik van toetse te optimaliseer, en kan besluitnemers in die inwerkingstelling van nuwe, meer sensitiewe diagnostiese toetse bystaan.
Description
Thesis (PhD)--Stellenbosch University, 2018.
Keywords
Virtual implementation, Modeling, Molecular diagnosis, Tuberculosis in children -- Diagnosis