Ergo: a gesture-based computer interaction device
Date
2024-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This thesis presents Ergo, a bespoke glove‐based sensor suite designed to fully replace the regular
QWERTY keyboard in terms of both number of input keys and speed of input. Ergo collects
acceleration data from each of the user’s 10 fingertips at 40 times per second and is able to
predict which of 50 differ‐ ent hand gestures is being performed at 40 times per second. The user
does not need to explicitly mark the start or end of each gesture, as Ergo is able to automatically
distinguish between intentional gestures made by the user and other non‐gesture movements. When a
known gesture is detected, a corre‐ sponding keystroke is emitted, allowing the user to “type” on
their computer by performing gestures in sequence. Five different classification models are eval‐
uated (Hidden Markov Models, Support Vector Machines, Cumulative Sum, and two different Neural
Network architectures) and Neural Networks are found to be the most effective. The difference in
difficulty between classification tasks which either do or do not include observations without
intentional movement is also evaluated. The additional requirement to be able to distinguish inten‐
tional gestures from other hand movements is found to increase the difficulty of the task
significantly.
AFRIKAANSE OPSOMMING: Hierdie tesis stel Ergo bekend ‐ ‘n pasgemaakte stel sensors wat ontwerp is om die algemene QWERTY‐sleutelbord in terme van die aantal invoersleutels en die spoed van invoering heeltemal te vervang. Ergo versamel versnellingsdata van elk van die gebruiker se 10 vingerpunte teen ‘n tempo van 40 keer per se‐ konde en kan voorspel watter van die 50 verskillende bewegings teen dieselfde tempo uitgevoer word. Die gebruiker hoef nie die begin of einde van elke bewe‐ ging noukeurig aan te dui nie aangesien Ergo ‘n gebrek aan doelbewuste bewe‐ ging kan opspoor en dienooreenkomstig kan reageer. Wanneer ‘n bekende be‐ weging waargeneem word, word ‘n ooreenstemmende toetsaanslag uitgestuur, en kan die gebruiker op sy of haar rekenaar “tik” deur bewegings in volgorde uit te voer. Vyf verskillende klassifikasiemodelle word geëvalueer (Versteekte Markov‐modelle, Ondersteuningsvektormasjiene, Kumulatiewe som en twee verskillende Neurale Netwerk‐argitekture). Daar is bevind dat die Neurale Net‐ werke die klassifikasiemodel met die beste resultate is. Die verskil in moei‐ likheidsgraad tussen klassifikasietake wat waarnemings sonder doelbewuste beweging insluit of nie insluit nie, word ook geëvalueer. Daar is gevind dat die bykomende vereiste om doelbewuste bewegings van ander handbewegings te kan onderskei, die moeilikheidsgraad van die taak aansienlik verhoog.
AFRIKAANSE OPSOMMING: Hierdie tesis stel Ergo bekend ‐ ‘n pasgemaakte stel sensors wat ontwerp is om die algemene QWERTY‐sleutelbord in terme van die aantal invoersleutels en die spoed van invoering heeltemal te vervang. Ergo versamel versnellingsdata van elk van die gebruiker se 10 vingerpunte teen ‘n tempo van 40 keer per se‐ konde en kan voorspel watter van die 50 verskillende bewegings teen dieselfde tempo uitgevoer word. Die gebruiker hoef nie die begin of einde van elke bewe‐ ging noukeurig aan te dui nie aangesien Ergo ‘n gebrek aan doelbewuste bewe‐ ging kan opspoor en dienooreenkomstig kan reageer. Wanneer ‘n bekende be‐ weging waargeneem word, word ‘n ooreenstemmende toetsaanslag uitgestuur, en kan die gebruiker op sy of haar rekenaar “tik” deur bewegings in volgorde uit te voer. Vyf verskillende klassifikasiemodelle word geëvalueer (Versteekte Markov‐modelle, Ondersteuningsvektormasjiene, Kumulatiewe som en twee verskillende Neurale Netwerk‐argitekture). Daar is bevind dat die Neurale Net‐ werke die klassifikasiemodel met die beste resultate is. Die verskil in moei‐ likheidsgraad tussen klassifikasietake wat waarnemings sonder doelbewuste beweging insluit of nie insluit nie, word ook geëvalueer. Daar is gevind dat die bykomende vereiste om doelbewuste bewegings van ander handbewegings te kan onderskei, die moeilikheidsgraad van die taak aansienlik verhoog.
Description
Thesis (MSc)--Stellenbosch University, 2024.