Automating a labour performance measurement and risk assessment : an evaluation of methods for a computer vision based system
Date
2014-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This thesis brings together productivity and risk assessments through innovative design, development
and evaluation of a unique system for retrieving and analysing data. In the past, although the link
between them is well-documented, these assessments have largely been dealt with as separate
antagonist entities.
A broad evaluation of the existing traditional and technological support systems has been conducted to
identify suitable methodologies along with a common technological platform for automation. The
methodologies selected for the productivity and risk assessments were; work sampling and the revised
NIOSH lifting equation respectively.
The automation of these procedures is facilitated through computer vision and the use of a range
imaging Kinect™ camera. The standalone C++ application integrates two tracking approaches to extract
real-time positional data on the worker and the work-piece. The OpenNI and OpenCV libraries are used
to perform skeletal tracking and image recognition respectively. The skeletal tracker returns positional
data on specific joints of the worker, while the image recognition component, a SURF implementation, is
used to identify and track a specific work-piece within the capture frame. These tracking techniques are
computationally expensive. In order to enable real time execution of the program, Nvidia’s CUDA toolkit
and threading building blocks have been applied to reduce the processing time.
The performance measurement system is a continuous sampling derivative of work sampling. The speed
of the worker’s hand movements and proximity to the work-piece are used to classify the worker in one
of four possible states; busy, static, idle, or out of frame. In addition to the worker based performance
measures, data relating to work-pieces are also calculated. These include the number of work-pieces
processed by a specific worker, along with the average and variations in the processing times.
The risk assessment is an automated approach of the revised NIOSH lifting equation. The system
calculates when a worker makes and/or breaks contact with the work-piece and uses the joint locations
from the skeletal tracker to calculate the variables used in the determination of the multipliers and
ultimately the recommended weight limit and lifting index. The final calculation indicates whether the
worker is at risk of developing a musculoskeletal disorder. Additionally the information provided on
each of the multipliers highlights which elements of the lifting task contribute the most to the risk.
The user-interface design ensures that the system is easy to use. The interface also displays the results
of the study enabling analysts to assess worker performance at any time in real time. The automated
system therefore enables analysts to respond rapidly to rectify problems. The system also reduces the
complexity of performing studies and it eliminates human errors. The time and costs required to
perform the studies are reduced and the system can become a permanent fixture on factory floors. The
development of the automated system opens the door for further development of the system to
ultimately enable more detailed assessments of productivity and risk.
AFRIKAANSE OPSOMMING: Produktiwiteit en risiko evaluerings word in hierdie tesis saam hanteer deur die innoverende ontwerp, ontwikkeling en evaluering van 'n unieke stelsel vir die meting en ontleding van data. Alhoewel die skakel tussen hulle goed gedokumenteer is, word hierdie evaluering as afsonderlike antagonistiese entiteite hanteer. 'n Breë studie van die bestaande tradisionele en tegnologiese ondersteuningstelsels is gedoen om toepaslike metodes te identifiseer, om 'n gemeenskaplike tegnologiese platform vir outomatisering daar te stel. Die metodes wat gekies is vir die produktiwiteit en risiko bepalings is onderskeidelik werk monsterneming en die hersiende NIOSH opheffing vergelyking. Die outomatisering van hierdie prosedures word gefasiliteer deur middel van rekenaar visie en die gebruik van 'n Kinect™ 3D kamera. Die selfstandige C++ program integreer ‘n dubbelvolgings benadering om in reële tyd posisionele data van die werker en die werk-stuk te kry. Die OpenNI en OpenCV biblioteke word onderskeidelik gebruik om skeletale volging en beeld erkenning uit te voer. Die skeletale volger bepaal posisionele data van spesifieke gewrigte van die werker, terwyl die beeld erkenning komponent, 'n SURF implementering gebruik om 'n spesifieke werk-stuk binne die opname raam te identifiseer en te volg. Hierdie volgings tegnieke is berekenings intensief. Om werklike tyd uitvoering van die program te verseker, is Nvidia se CUDA gereedskapstel en liggewig boublokke geimplementeer. Die produktiwiteit meting-stelsel is 'n aaneenlopende monsterneming benadering van werk monsterneming. Die spoed van die werker se handbewegings en nabyheid aan die werkstuk word gebruik om die werker te klassifiseer as in een van vier moontlike toestande; besig, staties, onaktief of buite die raam. Benewens die werker gebaseerde metings, word daar ook data oor werkstukke bereken. Dit sluit in die aantal werkstukke verwerk deur 'n spesifieke werker, sowel as die gemiddelde en variasie in verwerkings tye. Die risiko-berekening is 'n outomatiese benadering van die hersiende NIOSH opheffing vergelyking. Die stelsel bereken wanneer die werker kontak maak en/of breek met die werkstuk en maak gebruik van die gewrigsposisies wat die skeletale volger aandui om die veranderlikes wat in die vermenigvuldigers gebruik word te bepaal. Die vermenigvuldigers word gebruik om die aanbevole maksimum gewig en die opheffing indeks te bereken. Die opheffing indeks dui aan of daar ‘n risiko vir die werker is om muskuloskeletale versteuring te ontwikkel. Benewens dui die vermenigvuldigers aan watter elemente die grootste bydra tot die risiko van die opheffingstaak maak. Die gebruiker-koppelvlak-ontwerp verseker dat die stelsel maklik is om te gebruik. Die koppelvlak vertoon ook die resultate van die studie sodat ontleders op enige tyd werker prestasie kan evalueer in reële tyd. Die outomatiese stelsel stel dus ontleders in staat om vinnig te reageer sodat probleme reggestel kan word. Die stelsel verminder ook die kompleksiteit vir die uitvoering van studies en dit elimineer menslike foute. Die tyd en koste vereis om die studie te doen, word verminder en die stelsel kan ‘n permanente instelling op fabriekvloere geword. Die ontwikkeling van die outomatiese stelsel maak die deur oop vir verdere ontwikkeling van die stelsel om uiteindelik daartoe te lei dat meer gedetailleerde evaluering van produktiwiteit en risiko bepaal kan word.
AFRIKAANSE OPSOMMING: Produktiwiteit en risiko evaluerings word in hierdie tesis saam hanteer deur die innoverende ontwerp, ontwikkeling en evaluering van 'n unieke stelsel vir die meting en ontleding van data. Alhoewel die skakel tussen hulle goed gedokumenteer is, word hierdie evaluering as afsonderlike antagonistiese entiteite hanteer. 'n Breë studie van die bestaande tradisionele en tegnologiese ondersteuningstelsels is gedoen om toepaslike metodes te identifiseer, om 'n gemeenskaplike tegnologiese platform vir outomatisering daar te stel. Die metodes wat gekies is vir die produktiwiteit en risiko bepalings is onderskeidelik werk monsterneming en die hersiende NIOSH opheffing vergelyking. Die outomatisering van hierdie prosedures word gefasiliteer deur middel van rekenaar visie en die gebruik van 'n Kinect™ 3D kamera. Die selfstandige C++ program integreer ‘n dubbelvolgings benadering om in reële tyd posisionele data van die werker en die werk-stuk te kry. Die OpenNI en OpenCV biblioteke word onderskeidelik gebruik om skeletale volging en beeld erkenning uit te voer. Die skeletale volger bepaal posisionele data van spesifieke gewrigte van die werker, terwyl die beeld erkenning komponent, 'n SURF implementering gebruik om 'n spesifieke werk-stuk binne die opname raam te identifiseer en te volg. Hierdie volgings tegnieke is berekenings intensief. Om werklike tyd uitvoering van die program te verseker, is Nvidia se CUDA gereedskapstel en liggewig boublokke geimplementeer. Die produktiwiteit meting-stelsel is 'n aaneenlopende monsterneming benadering van werk monsterneming. Die spoed van die werker se handbewegings en nabyheid aan die werkstuk word gebruik om die werker te klassifiseer as in een van vier moontlike toestande; besig, staties, onaktief of buite die raam. Benewens die werker gebaseerde metings, word daar ook data oor werkstukke bereken. Dit sluit in die aantal werkstukke verwerk deur 'n spesifieke werker, sowel as die gemiddelde en variasie in verwerkings tye. Die risiko-berekening is 'n outomatiese benadering van die hersiende NIOSH opheffing vergelyking. Die stelsel bereken wanneer die werker kontak maak en/of breek met die werkstuk en maak gebruik van die gewrigsposisies wat die skeletale volger aandui om die veranderlikes wat in die vermenigvuldigers gebruik word te bepaal. Die vermenigvuldigers word gebruik om die aanbevole maksimum gewig en die opheffing indeks te bereken. Die opheffing indeks dui aan of daar ‘n risiko vir die werker is om muskuloskeletale versteuring te ontwikkel. Benewens dui die vermenigvuldigers aan watter elemente die grootste bydra tot die risiko van die opheffingstaak maak. Die gebruiker-koppelvlak-ontwerp verseker dat die stelsel maklik is om te gebruik. Die koppelvlak vertoon ook die resultate van die studie sodat ontleders op enige tyd werker prestasie kan evalueer in reële tyd. Die outomatiese stelsel stel dus ontleders in staat om vinnig te reageer sodat probleme reggestel kan word. Die stelsel verminder ook die kompleksiteit vir die uitvoering van studies en dit elimineer menslike foute. Die tyd en koste vereis om die studie te doen, word verminder en die stelsel kan ‘n permanente instelling op fabriekvloere geword. Die ontwikkeling van die outomatiese stelsel maak die deur oop vir verdere ontwikkeling van die stelsel om uiteindelik daartoe te lei dat meer gedetailleerde evaluering van produktiwiteit en risiko bepaal kan word.
Description
Thesis (MScEng) Stellenbosch University, 2014.
Keywords
Computer vision, Labour performance measurement, Lifting and carrying -- Safety measures, Image processing, Productivity, Skeletal tracking, National Institute for Occupational Safety and Health (NIOSH), Revised NIOSH lifting equation, Dissertations -- Industrial engineering, UCTD