Automated real-time performance feedback and time study using computer vision technology

Abstract

ENGLISH ABSTRACT: This final year project report describes the creation of a computer vision solution to assess worker performance in a manual labour environment. Time-study data is gathered by the system and performance feedback is given to workers in real-time. The system consists of a Microsoft Xbox Kinect camera, connected via USB to a PC. The Kinect camera is used alongside OpenNI software to perform skeletal-tracking on the worker, and this data is processed by an application created in C++ to perform cycle recognition. Performance is calculated by assessing the time period between successive cycles and simple feedback is given to the worker after each cycle by an LCD display. Performance data are stored for subsequent analysis.

AFRIKAANSE OPSOMMING: Hierdie finale jaar projek die gee die besonderhede van die innoverende ontwerp, ontwikkeling, implementering en evaluering van' n nuwe metode om data-insameling vir tyd-studies uit te voer, en 'n innoverende voorstel om werkers in die handearbeid omgewing te voorsien met konstante prestasie terugvoer. Die primêre doel van die stelsel is om skelet-tracking van 'n werknemer uit te voer, werk siklusse waar te neem en vas te lê, en die data aan te teken vir analise. Dit gee ook eenvoudig en intuïtief prestasie terugvoer aan die werker wat die taak verrig. Die stelsel is daarop gemik om nie-indringend en so sterk as moontlik te wees. Berekeninge en algoritmes is so eenvoudig as moontlik uitgevoer sodat die analise in werklike tyd uitgevoer kan word. 'N Microsoft Xbox Kinect kamera word gebruik, wat gebruik maak van gestruktureerde infrarooi lig om ‘n digte digitale 3D voorstelling van 'n toneel te skep. Die kamera is verbind tot 'n rekenaar wat ‘n selfstandige uitvoerbare program, gekodeer in C++ deur die skrywer, uitvoer. Skelet-tracking is uitgevoer deur OpenNI sagteware, en die data wat ingesamel is van die gewrigte wat verteenwoordig word deur die gebruiker se hande is geparseerd oor 'n beraamde tydperk, sodat belangrike nodusse outomaties in die toneel gevind kan word. Die stelsel neem die besoek van nodes op en voer 'n patroon opsporing algoritme om die werk siklus wat uitgevoer is te onttrek. Die stelsel bespeur en neem hierdie siklusse op as hulle daarna uitgevoer is, en bereken die tyd tussen afgelope siklusse. Werker prestasie is bereken en terugvoering word gegee aan die werker deur 'n eenvoudige kleur skaal na elke voltooide siklus. Hierdie data is versamel in 'n log-lêer vir latere analise.