Management by measurement: a performance management approach for assessing ITS (Intelligent Transport Systems) projects in South Africa
Date
2016-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Over the past decade, the South African transport environment has actively started to adapt a technology-driven setting. Intelligent Transport Systems (ITS) applications such as Advanced Traffic
Management Systems (ATMS) and Advanced Public Transport Systems (APTS) have since been
promoted and developed.
However, little thought is given to ITS performance management in the conceptualisation- and
planning phases of the ITS applications. As a result, the monitoring is mostly done by a modular- and
possibly inconsistent performance measurement approach. Moreover, in the absence of a set of widely accepted performance measures and transferable methodologies, it is very difficult for the local transport industry to objectively assess the effects of their specific applications with regard to the implementation of policies and technologies. The aforementioned concerns raise scepticism around the sustainability of the newly deployed advanced transport systems.
In order to ensure the sustainability of the ITS applicators, it is proposed that a systematic approach
to performance management, through performance measurement, be promoted. Even though the concept of managing performance measurement is in its infancy, it is believed that, with the attainment of the proposition made herein, a performance management regime, possibly nation-wide, may follow.
The aim of this research project is thus to develop an all-encompassing measurement framework that lays the groundwork for managing the performance, and contributes towards the sustainability, of the
ITS deployments. This was accomplished by executing six methodical steps. These were to: 1) identify all of the performance-related aspects that are applicable to the transport measurement environment, 2) present these aspects in a performance measurement framework, 3) establish the performance measurement structure by developing standards and/or targets and allocating importance weights towards evaluating these aspects, 4) create the measurement model by utilising
Multi-Criteria Decision Making (MCDM) principles in determining the (overall) performance of the ITS
applications, 5) transform the measurement framework into a Graphic User Interface (GUI) dashboard
that can act as the performance management tool and 6) instigate performance management by implementing an incentivisation structure.
The advocated approach differs from the current measurement systems in place in that it embraces a
structure for evaluating the performance of, specifically, technology investments in the South African transport environment. Moreover, it utilises a holistic and generic measurement framework as the baseline for performance appraisal. The method put forth herein, in the form of the envisioned performance management tool, serves as the reference point for ITS performance management. That is, it can assist implementing agencies in obtaining the necessary knowledge to easily make day-to-day informed decisions regarding the (overall) performance of their respective systems and
can aid decision makers in the continuous assessment of their investment in transport technology.
The developed management tool has also met the prerequisites, as identified herein, for ensuring the
wider use and application of a performance driven approach. These included, among others, that the
tool be: scalable and suitable to address the specific requirements as posed by a developing country
and by the evolution of ITS technologies; holistic in the sense that it considers and includes the opinions of all possible interested parties; comprehensive such that it can be applied to both the private- and the public transport environment; concise such that it does not fall victim to Albert Einstein’s mantra (“not everything that counts can be counted and not everything that can be counted counts”); agile such that it can accommodate any changes in the employer’s (or the client’s) needs
and/or the specific project’s desired outcomes; and easy to understand and use such that it can facilitate the quick and effortless assessment of transport projects’ performance in the field of technology investments.
In conclusion, this author submits that the developed tool has proven to have sufficient capability,
provide invaluable insights and add significant value to the transport environment, as well as being multi-functional, consistent and all-inclusive.
AFRIKAANSE OPSOMMING: Die afgelope dekade het die Suid-Afrikaanse vervoeromgewing by ’n tegnologiegedrewe ingesteldheid begin aanpas. Intelligente vervoerstelsels, soos gevorderde verkeersbeheerstelsels en gevorderde publieke vervoerstelsels, is sedertdien aktief bevorder en ontwikkel. Daar word egter min aandag aan die bestuur van hierdie intelligente vervoerstelsels in hul voorstelling- en beplanningsfases gegee. Die monitering word dus hoofsaaklik deur ’n modulêre en moontlik inkonsekwente prestasiemetingsbenadering gedoen. Verder, met die afwesigheid van ’n stel prestasiemetings en oordraagbare metodologieë, wat algemeen aanvaar word, is dit baie moeilik vir die plaaslike vervoerindustrie om hul spesifieke toepassings, rakende die implementering van beleide en tegnologieë, te evalueer. Voorafgemelde aangeleenthede lei tot skeptisisme rondom die volhoubaarheid van die nuwe gevorderde vervoerstelsels. Om die volhoubaarheid van die intelligente vervoerstelsels te verseker, word daar ’n sistematiese benadering tot prestasiebestuur, deur prestasiemeting, aanbeveel. Alhoewel die idee om prestasiemeting te bestuur in sy kinderskoene is, word daar geglo dat daar met die uitkoms van hierdie navorsingsprojek ’n prestasiebestuur-regime mag volg. Die doel van hierdie navorsingsprojek is dus om ’n alomvattende metingsraamwerk wat die basis vir die bestuur van prestasie, asook die volhoubaarheid, van die ontwikkelde intelligente vervoerstelsels daar te stel. Dit is bereik deur ses metodiese stappe uit te voer. Hierdie sluit in: 1) die identifisering van al die bestuursverwante aspekte wat van toepassing is op die vervoer-metingsomgewing, 2) die daarstelling van hierdie aspekte in ’n bestuursmeting-raamwerk, 3) die bepaling van die bestuursmeting-struktuur vir die ontwikkeling van standaarde en/of mikpunte, asook die toekenning van betekenisvolle gewigte, om hierdie aspekte te evalueer, 4) die skep van ’n metingsmodel deur gebruik te maak van multi-kriteria besluitnemingsbeginsels om vas te stel wat die (algehele) prestasie van die intelligente vervoerstelsel-toepassings is, 5) die omskepping van die metingsraamwerk in ’n visuele paneel wat in een oogopslag die prestasie van die stelsels vir bestuursdoeleides uitbeeld en 6) die aansporing van prestasiebestuur deur ’n vergoedingstruktuur te bevorder. Die voorgestelde benadering verskil van die huidige metingstelsels aangesien dit ’n struktuur vir die evaluering van die prestasie, van spesiek beleggings in tegnologie in die Suid-Afrikaanse vervoeromgewing, insluit. Verder wend dit ’n holistiese en generiese metingsraamwerk as die basis vir prestasiebepaling aan. Die voorgestelde metode vir die beplande instrument dien as verwysingspunt vir die prestasiebestuur van intelligente vervoerstelsels. Hierdie instrument ondersteun die implementeringsinstansies in die verkryging van die nodige kennis om maklik dag-tot-dag, ingeligte besluite, rakende die (algehele) prestasie van hul onderskeie stelsels, te neem. Verder kan die instrument ook die besluitnemers help met die deurlopende evaluering van hul beleggings in vervoertegnologie. Die ontwikkelde bestuursinstrument het ook aan die voorvereistes, soos in hierdie navorsingprojek geïdentifiseer, voldoen. Hierdie vereistes is daargestel om die wyer gebruik en toepassing van ’n prestasiegedrewe benadering te verseker. Die primêre vereistes verseker dat die instrument aan die volgende voldoen: aanpasbaar en gepas om aan die spesifieke vereistes, soos verlang deur ’n ontwikkelende land en die evolusie van intelligente vervoerstelsel-verwante tegnologieë, te voldoen; holisties tot so ’n mate dat dit die opinies van alle geïdentifiseerde belanghebbende partye in ag neem en insluit; alomvattend sodat dit op beide die privaat en publieke vervoeromgewing toegepas kan word; bondig tot so ’n mate dat dit nie in Albert Einstein se mantrastrik beland nie (“nie alles wat tel, kan getel word nie en nie alles wat telbaar is, tel nie”); veranderlik sodat dit enige verandering in die kliënt se behoeftes en/of die gewensde projekuikomste kan akkommodeer; en maklik om te verstaan en te gebruik sodat dit vinnige en moeitelose evaluering van die prestasie van vervoerprojekte in die tegnologie-beleggingsgebied kan fasiliteer. Ten slotte beweer die skrywer dat die ontwikkelde instrument getoon het dat dit genoegsame vermoë, onskatbare insigte en beduidende waarde tot die vervoeromgewing toevoeg. Verder is dit ook multi-funksioneel, konsekwent en alomvattend
AFRIKAANSE OPSOMMING: Die afgelope dekade het die Suid-Afrikaanse vervoeromgewing by ’n tegnologiegedrewe ingesteldheid begin aanpas. Intelligente vervoerstelsels, soos gevorderde verkeersbeheerstelsels en gevorderde publieke vervoerstelsels, is sedertdien aktief bevorder en ontwikkel. Daar word egter min aandag aan die bestuur van hierdie intelligente vervoerstelsels in hul voorstelling- en beplanningsfases gegee. Die monitering word dus hoofsaaklik deur ’n modulêre en moontlik inkonsekwente prestasiemetingsbenadering gedoen. Verder, met die afwesigheid van ’n stel prestasiemetings en oordraagbare metodologieë, wat algemeen aanvaar word, is dit baie moeilik vir die plaaslike vervoerindustrie om hul spesifieke toepassings, rakende die implementering van beleide en tegnologieë, te evalueer. Voorafgemelde aangeleenthede lei tot skeptisisme rondom die volhoubaarheid van die nuwe gevorderde vervoerstelsels. Om die volhoubaarheid van die intelligente vervoerstelsels te verseker, word daar ’n sistematiese benadering tot prestasiebestuur, deur prestasiemeting, aanbeveel. Alhoewel die idee om prestasiemeting te bestuur in sy kinderskoene is, word daar geglo dat daar met die uitkoms van hierdie navorsingsprojek ’n prestasiebestuur-regime mag volg. Die doel van hierdie navorsingsprojek is dus om ’n alomvattende metingsraamwerk wat die basis vir die bestuur van prestasie, asook die volhoubaarheid, van die ontwikkelde intelligente vervoerstelsels daar te stel. Dit is bereik deur ses metodiese stappe uit te voer. Hierdie sluit in: 1) die identifisering van al die bestuursverwante aspekte wat van toepassing is op die vervoer-metingsomgewing, 2) die daarstelling van hierdie aspekte in ’n bestuursmeting-raamwerk, 3) die bepaling van die bestuursmeting-struktuur vir die ontwikkeling van standaarde en/of mikpunte, asook die toekenning van betekenisvolle gewigte, om hierdie aspekte te evalueer, 4) die skep van ’n metingsmodel deur gebruik te maak van multi-kriteria besluitnemingsbeginsels om vas te stel wat die (algehele) prestasie van die intelligente vervoerstelsel-toepassings is, 5) die omskepping van die metingsraamwerk in ’n visuele paneel wat in een oogopslag die prestasie van die stelsels vir bestuursdoeleides uitbeeld en 6) die aansporing van prestasiebestuur deur ’n vergoedingstruktuur te bevorder. Die voorgestelde benadering verskil van die huidige metingstelsels aangesien dit ’n struktuur vir die evaluering van die prestasie, van spesiek beleggings in tegnologie in die Suid-Afrikaanse vervoeromgewing, insluit. Verder wend dit ’n holistiese en generiese metingsraamwerk as die basis vir prestasiebepaling aan. Die voorgestelde metode vir die beplande instrument dien as verwysingspunt vir die prestasiebestuur van intelligente vervoerstelsels. Hierdie instrument ondersteun die implementeringsinstansies in die verkryging van die nodige kennis om maklik dag-tot-dag, ingeligte besluite, rakende die (algehele) prestasie van hul onderskeie stelsels, te neem. Verder kan die instrument ook die besluitnemers help met die deurlopende evaluering van hul beleggings in vervoertegnologie. Die ontwikkelde bestuursinstrument het ook aan die voorvereistes, soos in hierdie navorsingprojek geïdentifiseer, voldoen. Hierdie vereistes is daargestel om die wyer gebruik en toepassing van ’n prestasiegedrewe benadering te verseker. Die primêre vereistes verseker dat die instrument aan die volgende voldoen: aanpasbaar en gepas om aan die spesifieke vereistes, soos verlang deur ’n ontwikkelende land en die evolusie van intelligente vervoerstelsel-verwante tegnologieë, te voldoen; holisties tot so ’n mate dat dit die opinies van alle geïdentifiseerde belanghebbende partye in ag neem en insluit; alomvattend sodat dit op beide die privaat en publieke vervoeromgewing toegepas kan word; bondig tot so ’n mate dat dit nie in Albert Einstein se mantrastrik beland nie (“nie alles wat tel, kan getel word nie en nie alles wat telbaar is, tel nie”); veranderlik sodat dit enige verandering in die kliënt se behoeftes en/of die gewensde projekuikomste kan akkommodeer; en maklik om te verstaan en te gebruik sodat dit vinnige en moeitelose evaluering van die prestasie van vervoerprojekte in die tegnologie-beleggingsgebied kan fasiliteer. Ten slotte beweer die skrywer dat die ontwikkelde instrument getoon het dat dit genoegsame vermoë, onskatbare insigte en beduidende waarde tot die vervoeromgewing toevoeg. Verder is dit ook multi-funksioneel, konsekwent en alomvattend
Description
Thesis (DEng)--Stellenbosch University, 2016.
Keywords
Intelligent transport systems -- Perfomance, Performance Measurement, Electronic traffic controls -- Perfomance standards, Transportation information technology -- Quality control, Project management -- Evaluation, UCTD