Real-Time behaviour classification techniques in low-power animal borne sensor applications
Date
2019-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The ability to study animal behaviour is important in many areas of science, including behavioural
ecology, conservation and precision farming. These studies typically employ biotelemetry
tags attached to animals that collect raw sensor data from tri-axial accelerometers.
However, conventional animal behaviour classification techniques are performed offline as a
post-processing step and does not provide real-time data analysis. Furthermore, the lifespan
of such tags is constrained by their power and memory usage, which are often limiting factors
when performing behavioural studies for extended periods of time. The focus of this project
was to investigate methods to possibly mitigate these limitations. The main contributions
of the work set out in this dissertation are three-fold. First, a novel embedded automatic
behaviour classification system which captures and automatically classifies three-dimensional
accelerometer data in real-time is presented. All computation occur on specially designed
biotelemetry tags while attached to the animal. This allows the probable real-time behaviour
to be transmitted continuously, thereby providing an enhanced level of detail and immediacy.
As a result of the sustained and serious rhinoceros poaching in South Africa, the behaviour
classification system was developed to assist with activities combating this problem. An onboard
linear support vector machine with 11 features achieves an accuracy of 99:61% among
three behavioural classes (standing, walking and lying down). Stock theft is another significant
problem as experienced in the agricultural sector. The behaviour classification system
was, therefore, also implemented for sheep. In this case, logistic regression with 34 features
achieves a classification accuracy of 89:59%among five behavioural classes (standing, walking,
grazing, running and lying down). The estimated behaviour was established approximately
every 6:5 s and transmitted to a receiver station for both rhinoceros and sheep. Secondly, a
novel energy-aware feature and model selection technique is presented. A greedy sequential
feature selection algorithm was utilised to minimise a cost function that weighs the energy expense of adding specific features with the change in classification error afforded by the features.
In addition, the energy expense of specific classification techniques are considered in
selecting the optimal models, which is often neglected in literature. Our technique, therefore,
favours both classifiers and features which are less energy expensive to compute during
runtime. It is shown that, for the rhinoceros dataset, a random forest classifier with two features is selected as optimal, achieving an overall classification accuracy of 99:33%. Extracting
the features and performing classification consumes 363 times less energy, while only sacrificing
0:28% in accuracy when compared to the 99:61% achieved with the unconstrained
system. For the sheep dataset, a linear support vector machine with nine features achieves
an 88:40% classification accuracy. Extracting the features and performing classification consumes
6.8 times less energy, at a cost of 1:19% in accuracy compared to the 89:59% achieved
with the unconstrained system. Finally, the reduced power requirements and memory usage
benefits of the embedded behaviour classification system were considered. Experiments using
the biotelemetry tags demonstrated a 14-fold reduction in energy consumption and a 234-fold
reduction in memory usage when classification was performed on the tag vs. processing raw
data subsequent to transmission. It is concluded that real-time behavioural updates can be
achieved by means of embedded behaviour classification with the technique significantly reducing
the total energy consumption and memory requirements of the device. This enables
long-term behavioural studies in applications such as the conservation of rhinoceros, which
is a critically endangered species. It is also very applicable to precision farming applications.
Moreover, this technique can be applied to general embedded machine learning applications
employed in smart phones, smart watches and sensors within the internet of things.
AFRIKAANSE OPSOMMING: Die vermoë om dieregedrag te bestudeer is belangrik in baie areas van die wetenskap, insluitend gedragsekologie, natuurbewaring en presisie boerdery. Hierdie studies gebruik tipies bio-telemetriese toestelle, vasgeheg aan diere, wat rou sensor data insamel vanaf drie-asversnellings- sensors. Konvensionele gedragsklassifikasie-tegnieke word egter aflyn uitgevoer en verskaf dus nie intydse data nie. Die leeftyd van sulke toestelle word beperk deur hul krag- en geheueverbruik, wat dikwels beperkende faktore is tot die uitvoer van langtermyn gedragstudies. Hierdie projek het gefokus op tegnieke om hierdie beperkinge te verlig. Die belangrikste bydrae van die werk is drievoudig. Eerstens word ’n nuwe aanboord outomatiese gedragsklassifikasie stelsel aangebied, wat intyds drie-as-versnellingssensor data insamel en klassifiseer. Alle berekeninge vind plaas op die bio-telemetriese toestel terwyl dit aan die dier vas is. Dit stuur dan die waarskynlike gedrag deurlopend aan ’n ontvangerstasie en bied sodoende ’n verbeterde vlak van data beskikbaarheid. As gevolg van voortgesette en ernstige renosterstropery in Suid-Afrika, was ’n gedragsklassifikasie stelsel ontwikkel om aktiewe pogings teen renosterstropery te ondersteun. ’n Aanboord linear support vector machine met 11 kenmerke behaal ’n akkuraatheid van 99:61% tussen drie gedragsklasse (staan, loop en lê). Veediefstal is nog ’n beduidende probleem wat deur die landbou sektor beleef word. ’n Gedragsklassifikasie stelsel was daarom ook vir skape ontwikkel. ’n Aanboord logistic regression model met 34 kenmerke behaal ’n klassifikasie akkuraatheid van 89:59% tussen vyf gedragsklasse (staan, loop, wei, hardloop en lê). Die beraamde gedragword ongeveer elke 6:5 s bepaal en gestuur na ’n ontvangerstasie vir beide renosters en skape. Verder, word ’n nuwe energie-bewuste kenmerk en model seleksie tegniek beskryf. ’n Gulsige sekwensiële kenmerk seleksie algoritme word gebruik om ’n kostefunksie te minimeer wat die energiekoste om spesifieke kenmerke uit te werk balanseer met die verandering in die klassifikasiefout wat deur die kenmerke behaal word. Die energiekoste van spesifieke klassifikasietegnieke word dan addisioneel oorweeg om die optimale modelle te kies. Daar word getoon dat vir die renosterdatastel, ’n random forest model met twee optimale kenmerke gekies word wat dan ’n algehele klassifikasie akkuraatheid van 99:33% bereik. Die berekening van die kenmerke en die uitvoer van die klassifikasie model gebruik 363 keer minder energie, terwyl dit net 0:28% in akkuraatheid prysgee as dit vergelyk word met die 99:61% wat behaal word met die onbeperkte stelsel. Vir die skaapdatastel, behaal ’n linear support vector machine met nege kenmerke, ’n klassifikasie akkuraatheid van 88:40%. Die berekening van die kenmerke en die uitvoer van die klassifikasie model gebruik 6.8 keer minder energie, teen ’n koste van 1:19% verminderinge in akkuraatheid, wanneer dit vergelyk word met die 89:59% wat behaal word met die onbeperkte stelsel. Laastens, is die voordele in terme van die verminderde krag- en geheueverbruik van die bio-telemetriese toestelle deur van die aanboord gedragsklassifikasie tegniek gebruik te maak, ondersoek. Eksperimente wys dat hierdie bio-telemetriese toestelle ’n 14 keer verlaging in energieverbruik en ’n 234 keer vermindering in geheueverbruik behaal. Dit kan toegeskryf word aan die onmiddellike klassifikasie wat uitgevoer word op die toestel self, i.p.v. dataverwerking op ’n rekenaar na die transmissie van rou-data. Ons kom tot die gevolgtrekking dat intydse gedrags-opdaterings bereken en beskikbaar gestel kan word d.m.v. aanboord gedragsklassifikasie en dat die tegniek die totale energieverbruik en geheuevereistes van die toestel drasties verminder. Dit stel langtermyn gedragsstudies in staat en kan in toepassings benewens die bewaring van renosters ook in presisie boerdery gebruik word. Daarbenewens, kan hierdie tegniek ook toegepas word in algemene aanboord masjienleertoepassings in slimfone, slimhorlosies en toestelle binne die internet-van-dinge.
AFRIKAANSE OPSOMMING: Die vermoë om dieregedrag te bestudeer is belangrik in baie areas van die wetenskap, insluitend gedragsekologie, natuurbewaring en presisie boerdery. Hierdie studies gebruik tipies bio-telemetriese toestelle, vasgeheg aan diere, wat rou sensor data insamel vanaf drie-asversnellings- sensors. Konvensionele gedragsklassifikasie-tegnieke word egter aflyn uitgevoer en verskaf dus nie intydse data nie. Die leeftyd van sulke toestelle word beperk deur hul krag- en geheueverbruik, wat dikwels beperkende faktore is tot die uitvoer van langtermyn gedragstudies. Hierdie projek het gefokus op tegnieke om hierdie beperkinge te verlig. Die belangrikste bydrae van die werk is drievoudig. Eerstens word ’n nuwe aanboord outomatiese gedragsklassifikasie stelsel aangebied, wat intyds drie-as-versnellingssensor data insamel en klassifiseer. Alle berekeninge vind plaas op die bio-telemetriese toestel terwyl dit aan die dier vas is. Dit stuur dan die waarskynlike gedrag deurlopend aan ’n ontvangerstasie en bied sodoende ’n verbeterde vlak van data beskikbaarheid. As gevolg van voortgesette en ernstige renosterstropery in Suid-Afrika, was ’n gedragsklassifikasie stelsel ontwikkel om aktiewe pogings teen renosterstropery te ondersteun. ’n Aanboord linear support vector machine met 11 kenmerke behaal ’n akkuraatheid van 99:61% tussen drie gedragsklasse (staan, loop en lê). Veediefstal is nog ’n beduidende probleem wat deur die landbou sektor beleef word. ’n Gedragsklassifikasie stelsel was daarom ook vir skape ontwikkel. ’n Aanboord logistic regression model met 34 kenmerke behaal ’n klassifikasie akkuraatheid van 89:59% tussen vyf gedragsklasse (staan, loop, wei, hardloop en lê). Die beraamde gedragword ongeveer elke 6:5 s bepaal en gestuur na ’n ontvangerstasie vir beide renosters en skape. Verder, word ’n nuwe energie-bewuste kenmerk en model seleksie tegniek beskryf. ’n Gulsige sekwensiële kenmerk seleksie algoritme word gebruik om ’n kostefunksie te minimeer wat die energiekoste om spesifieke kenmerke uit te werk balanseer met die verandering in die klassifikasiefout wat deur die kenmerke behaal word. Die energiekoste van spesifieke klassifikasietegnieke word dan addisioneel oorweeg om die optimale modelle te kies. Daar word getoon dat vir die renosterdatastel, ’n random forest model met twee optimale kenmerke gekies word wat dan ’n algehele klassifikasie akkuraatheid van 99:33% bereik. Die berekening van die kenmerke en die uitvoer van die klassifikasie model gebruik 363 keer minder energie, terwyl dit net 0:28% in akkuraatheid prysgee as dit vergelyk word met die 99:61% wat behaal word met die onbeperkte stelsel. Vir die skaapdatastel, behaal ’n linear support vector machine met nege kenmerke, ’n klassifikasie akkuraatheid van 88:40%. Die berekening van die kenmerke en die uitvoer van die klassifikasie model gebruik 6.8 keer minder energie, teen ’n koste van 1:19% verminderinge in akkuraatheid, wanneer dit vergelyk word met die 89:59% wat behaal word met die onbeperkte stelsel. Laastens, is die voordele in terme van die verminderde krag- en geheueverbruik van die bio-telemetriese toestelle deur van die aanboord gedragsklassifikasie tegniek gebruik te maak, ondersoek. Eksperimente wys dat hierdie bio-telemetriese toestelle ’n 14 keer verlaging in energieverbruik en ’n 234 keer vermindering in geheueverbruik behaal. Dit kan toegeskryf word aan die onmiddellike klassifikasie wat uitgevoer word op die toestel self, i.p.v. dataverwerking op ’n rekenaar na die transmissie van rou-data. Ons kom tot die gevolgtrekking dat intydse gedrags-opdaterings bereken en beskikbaar gestel kan word d.m.v. aanboord gedragsklassifikasie en dat die tegniek die totale energieverbruik en geheuevereistes van die toestel drasties verminder. Dit stel langtermyn gedragsstudies in staat en kan in toepassings benewens die bewaring van renosters ook in presisie boerdery gebruik word. Daarbenewens, kan hierdie tegniek ook toegepas word in algemene aanboord masjienleertoepassings in slimfone, slimhorlosies en toestelle binne die internet-van-dinge.
Description
Thesis (PhD)--Stellenbosch University, 2019.
Keywords
UCTD, Biotelemetry, Biological markers (Biological tags), Animal behavior -- Monitoring, Sensors