Automated real-time performance feedback and time study using computer vision technology
Date
2011-10
Authors
Von Petersdorff, Hagen Alexander
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This final year project report describes the creation of a computer vision solution to assess worker performance in a manual labour environment. Time-study data is gathered by the system and performance feedback is given to workers in real-time. The system consists of a Microsoft Xbox Kinect camera, connected via USB to a PC. The Kinect camera is used alongside OpenNI software to perform skeletal-tracking on the worker, and this data is processed by an application created in C++ to perform cycle recognition. Performance is calculated by assessing the time period between successive cycles and simple feedback is given to the worker after each cycle by an LCD display. Performance data are stored for subsequent analysis.
AFRIKAANSE OPSOMMING: Hierdie finale jaar projek die gee die besonderhede van die innoverende ontwerp, ontwikkeling, implementering en evaluering van' n nuwe metode om data-insameling vir tyd-studies uit te voer, en 'n innoverende voorstel om werkers in die handearbeid omgewing te voorsien met konstante prestasie terugvoer. Die primêre doel van die stelsel is om skelet-tracking van 'n werknemer uit te voer, werk siklusse waar te neem en vas te lê, en die data aan te teken vir analise. Dit gee ook eenvoudig en intuïtief prestasie terugvoer aan die werker wat die taak verrig. Die stelsel is daarop gemik om nie-indringend en so sterk as moontlik te wees. Berekeninge en algoritmes is so eenvoudig as moontlik uitgevoer sodat die analise in werklike tyd uitgevoer kan word. 'N Microsoft Xbox Kinect kamera word gebruik, wat gebruik maak van gestruktureerde infrarooi lig om ‘n digte digitale 3D voorstelling van 'n toneel te skep. Die kamera is verbind tot 'n rekenaar wat ‘n selfstandige uitvoerbare program, gekodeer in C++ deur die skrywer, uitvoer. Skelet-tracking is uitgevoer deur OpenNI sagteware, en die data wat ingesamel is van die gewrigte wat verteenwoordig word deur die gebruiker se hande is geparseerd oor 'n beraamde tydperk, sodat belangrike nodusse outomaties in die toneel gevind kan word. Die stelsel neem die besoek van nodes op en voer 'n patroon opsporing algoritme om die werk siklus wat uitgevoer is te onttrek. Die stelsel bespeur en neem hierdie siklusse op as hulle daarna uitgevoer is, en bereken die tyd tussen afgelope siklusse. Werker prestasie is bereken en terugvoering word gegee aan die werker deur 'n eenvoudige kleur skaal na elke voltooide siklus. Hierdie data is versamel in 'n log-lêer vir latere analise.
AFRIKAANSE OPSOMMING: Hierdie finale jaar projek die gee die besonderhede van die innoverende ontwerp, ontwikkeling, implementering en evaluering van' n nuwe metode om data-insameling vir tyd-studies uit te voer, en 'n innoverende voorstel om werkers in die handearbeid omgewing te voorsien met konstante prestasie terugvoer. Die primêre doel van die stelsel is om skelet-tracking van 'n werknemer uit te voer, werk siklusse waar te neem en vas te lê, en die data aan te teken vir analise. Dit gee ook eenvoudig en intuïtief prestasie terugvoer aan die werker wat die taak verrig. Die stelsel is daarop gemik om nie-indringend en so sterk as moontlik te wees. Berekeninge en algoritmes is so eenvoudig as moontlik uitgevoer sodat die analise in werklike tyd uitgevoer kan word. 'N Microsoft Xbox Kinect kamera word gebruik, wat gebruik maak van gestruktureerde infrarooi lig om ‘n digte digitale 3D voorstelling van 'n toneel te skep. Die kamera is verbind tot 'n rekenaar wat ‘n selfstandige uitvoerbare program, gekodeer in C++ deur die skrywer, uitvoer. Skelet-tracking is uitgevoer deur OpenNI sagteware, en die data wat ingesamel is van die gewrigte wat verteenwoordig word deur die gebruiker se hande is geparseerd oor 'n beraamde tydperk, sodat belangrike nodusse outomaties in die toneel gevind kan word. Die stelsel neem die besoek van nodes op en voer 'n patroon opsporing algoritme om die werk siklus wat uitgevoer is te onttrek. Die stelsel bespeur en neem hierdie siklusse op as hulle daarna uitgevoer is, en bereken die tyd tussen afgelope siklusse. Werker prestasie is bereken en terugvoering word gegee aan die werker deur 'n eenvoudige kleur skaal na elke voltooide siklus. Hierdie data is versamel in 'n log-lêer vir latere analise.
Description
The author has recognized the potential benefits for automation of the time-study process, and has seen the opportunity to improve current industrial practices by providing constant performance feedback to workers in a manual labour environment, and by partially automating the time-study process. A system, which will be detailed in this document, will be implemented in order to address these opportunities. Currently, a time-study requires that a supervisor observes one worker for a given time period, and manually times and notates this person’s performance in order to assess what standard time can be used for the task. There are several problems with this method, such as: The cost of employing the operator, subjective input of the operator, the worker’s tendency to behave differently when being observed, and the time-period for which a worker is observed may not be long enough and cannot be extended due to cost. Thus, in order to improve the time-study process, the above points need to be addressed.
Final year project, 2011
Final year project, 2011
Keywords
Computer vision technology, Time-study, Time-studies -- Data gathering