3D position estimation of sports players through multi-view tracking
Date
2010-12
Authors
Vos, Robert (Robbie)
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : University of Stellenbosch
Abstract
ENGLISH ABSTRACT: Extracting data from video streams and using the data to better understand the observed world
allows many systems to automatically perform tasks that ordinarily needed to be completed by
humans. One such problem with a wide range of applications is that of detecting and tracking
people in a video sequence. This thesis looks speci cally at the problem of estimating the positions
of players on a sports eld, as observed by a multi-view camera setup.
Previous attempts at solving the problem are discussed, after which the problem is broken down
into three stages: detection, 2D tracking and 3D position estimation. Possible solutions to each of
the problems are discussed and compared to one another.
Motion detection is found to be a fast and e ective solution to the problem of detecting players in
a single view. Tracking players in 2D image coordinates is performed by implementing a hierarchical
approach to the particle lter. The hierarchical approach is chosen as it improves the computational
complexity without compromising on accuracy. Finally 3D position estimation is done by multiview,
forward projection triangulation. The components are combined to form a full system that is
able to nd and locate players on a sports eld.
The overall system that is developed is able to detect, track and triangulate player positions.
The components are tested individually and found to perform well. By combining the components
and introducing feedback between them the results of the individual components as well as those of
the overall system are improved.
AFRIKAANSE OPSOMMING: Deur data uit 'n video-stroom te ontrek, en die data te gebruik om die wêreld wat waargeneem word beter te verstaan, kan baie rekenaarstelsels take outomaties voltooi wat voorheen deur 'n mens sou gedoen moes word. Een so 'n probleem wat 'n wye toepassingsveld het, is om mense te vind en te volg in 'n video. Hierdie tesis kyk spesi ek daarna om die posisie van spelers op 'n sportveld te vind, gegee 'n klomp kameras wat na die veld kyk. Daar word na vorige stelsels wat hierdie probleem probeer oplos gekyk, waarna die probleem in drie dele opgedeel word: vind die spelers, volg die spelers in 2D en skat die posisie van die spelers in 3D. Moontlike oplossings vir elk van hierdie dele word bespreek en vergelyk met mekaar. Daar word gevind dat om beweging te identi seer 'n eenvoudige manier is om die spelers te vind. Hulle word dan gevolg in 2D beeldkoördinate deur gebruik te maak van 'n hiërargiese implementasie van die partikel- lter. Die hiërargiese implementering word gekies omdat dit die spoed van die partikel- lter verbeter, sonder om die akkuraatheid te verswak. Laastens word die 3D posisie gevind deur multi-sigpunt, voorwaartse projeksie triangulering. Die verskillende komponente word kombineer om 'n volledige stelsel te vorm wat spelers kan vind en plaas op 'n veld. Die volledige stelsel wat ontwikkel is, is in staat om spelers te vind, volg en hulle posisies te bepaal. Elk van die individuele komponente word getoets, en daar word gevind dat hulle goed op hulle eie werk. Deur die komponente te kombineer en terugvoer tussen verskillende komponente te bewerkstellig word die resultate van die individuele komponente, sowel as dié van die volledige stelsel nog verbeter.
AFRIKAANSE OPSOMMING: Deur data uit 'n video-stroom te ontrek, en die data te gebruik om die wêreld wat waargeneem word beter te verstaan, kan baie rekenaarstelsels take outomaties voltooi wat voorheen deur 'n mens sou gedoen moes word. Een so 'n probleem wat 'n wye toepassingsveld het, is om mense te vind en te volg in 'n video. Hierdie tesis kyk spesi ek daarna om die posisie van spelers op 'n sportveld te vind, gegee 'n klomp kameras wat na die veld kyk. Daar word na vorige stelsels wat hierdie probleem probeer oplos gekyk, waarna die probleem in drie dele opgedeel word: vind die spelers, volg die spelers in 2D en skat die posisie van die spelers in 3D. Moontlike oplossings vir elk van hierdie dele word bespreek en vergelyk met mekaar. Daar word gevind dat om beweging te identi seer 'n eenvoudige manier is om die spelers te vind. Hulle word dan gevolg in 2D beeldkoördinate deur gebruik te maak van 'n hiërargiese implementasie van die partikel- lter. Die hiërargiese implementering word gekies omdat dit die spoed van die partikel- lter verbeter, sonder om die akkuraatheid te verswak. Laastens word die 3D posisie gevind deur multi-sigpunt, voorwaartse projeksie triangulering. Die verskillende komponente word kombineer om 'n volledige stelsel te vorm wat spelers kan vind en plaas op 'n veld. Die volledige stelsel wat ontwikkel is, is in staat om spelers te vind, volg en hulle posisies te bepaal. Elk van die individuele komponente word getoets, en daar word gevind dat hulle goed op hulle eie werk. Deur die komponente te kombineer en terugvoer tussen verskillende komponente te bewerkstellig word die resultate van die individuele komponente, sowel as dié van die volledige stelsel nog verbeter.
Description
Thesis (MSc (Mathematics))--University of Stellenbosch, 2010.
Keywords
3D Tracking, Multi-view tracking, Sport, Dissertations -- Mathematics, Theses -- Mathematics, Athletes