ITEM VIEW

Multimodal one-shot learning of speech and images

dc.contributor.advisorKamper, M. J.en_ZA
dc.contributor.advisorEngelbrecht, H. A.en_ZA
dc.contributor.authorEloff, Ryanen_ZA
dc.contributor.otherStellenbosch University. Faculty of Engineering. Dept. of Electrical and Electronic Engineering.en_ZA
dc.date.accessioned2020-02-24T12:36:37Z
dc.date.accessioned2020-04-28T12:24:07Z
dc.date.available2020-02-24T12:36:37Z
dc.date.available2020-04-28T12:24:07Z
dc.date.issued2020-04
dc.identifier.urihttp://hdl.handle.net/10019.1/108185
dc.descriptionThesis (MEng)--Stellenbosch University, 2020.en_ZA
dc.description.abstractENGLISH ABSTRACT: Humans learn to perform tasks such as language understanding and visual perception, remarkably, without any annotations and from limited amounts of weakly supervised co-occurring sensory information. Meanwhile, state-of-the-art machine learning models—which aim to challenge these human learning abilities—require large amounts of labelled training data to enable successful generalisation. Multimodal one-shot learning is an effort towards closing this gap on human intelligence, whereby we propose benchmark tasks for machine learning systems investigating whether they are capable of performing cross-modal matching from limited weakly supervised data. Specifically, we consider spoken word learning with co-occurring visual context in a one-shot setting, where an agent must learn novel concepts (words and object categories from a single joint audio-visual example. In this thesis, we make the following contributions: (i we propose and formalise multimodal one-shot learning of speech and images; (ii we develop two cross-modal matching benchmark datasets for evaluation, the first containing spoken digits paired with handwritten digits, and the second containing complex natural images paired with spoken words; and (iii we investigate a number of models within two frameworks, one extending unimodal models to the multimodal case, and the other learning joint audio-visual models. Finally, we show that jointly modelling spoken words paired with images enables a novel multimodal gradient update within a meta-learning algorithm for fast adaptation to novel concepts. This model outperforms our other approaches on our most difficult benchmark with a cross-modal matching accuracy of 40.3% for 10-way 5-shot learning. Although we show that there is room for significant improvement, the goal of this work is to encourage further development on this challenging task. We hope to achieve this by defining a standard problem setting with tasks which may be used to benchmark other approaches.en_ZA
dc.description.abstractAFRIKAANSE OPSOMMING: Die mens het die merkwaardige vermoë om taal en visuele konsepte aan te leer sonder geannoteerde afrigdata deur gebruik te maak van swak toesig in die vorm van parallelle sensoriese intree. Intussen benodig die beste getoesigde masjienleermodelle massiewe geannoteerde datastelle om te veralgemeen na nuwe intrees. Multimodale eenskootmasjienleer is ’n poging om die gaping tussen die vermoëns van masjienleermodelle te oorbrug. Hier stel ons ’n aantal standaard toetse voor om te bepaal of nuwe masjienleerstelsels die vermoë het om kruismodale passing uit te voer uit slegs ’n paar voorbeelde met beperkte toesig. Meer spesifiek ondersoek ons hoe gesproke woorde wat met ooreenstemmende visuele konsepte voorkom, saam aangeleer kan word in ’n eenskootopstelling waar ’n masjien nuwe konsepte (woord en objekkategorieë uit ’n enkele gesamentlike oudiovisuele voorbeeld moet aanleer. Ons maak die volgende bydraes: (i ons formaliseer multimodale eenskootmasjienleer uit spraak en beelde; (ii ons ontwikkel twee datastelle wat dien as maatstawwe om kruismodale passing te evalueer: die eerste datastel bestaan uit gesproke syfers met gepaardgaande handgeskrewe syfers en die tweede bestaan uit meer komplekse fotos met geïsoleerde woorde; en (iii ons ondersoek verskeie masjienleermodelle in twee opstellings: een waar enkelmodale modelle uitgebrei word na die multimodale geval en die ander waar oudiovisuele modelle gesamentlik afgerig word. Laastens ondersoek ons die gesamentlike aanleer van gesproke woorde met gepaardgaande visuele konsepte deur gebruik te maak van ’n meta-leer-algoritme. Hierdie model vaar die beste in ons moeilikste toetsomgewing, met ’n kruismodale passingsakkuraatheid van 40.3% vir 10-rigting 5-skoot masjienleer. Ons hoop dat deur hierdie probleem formeel te definieer en standaard toets beskikbaar te stel, ons verdere navorsing in hierdie nuwe en uitdagende veld sal aanmoedig.af_ZA
dc.format.extentxi, 81 leaves : illustrations (some color)
dc.language.isoenen_ZA
dc.publisherStellenbosch : Stellenbosch Universityen_ZA
dc.subjectMultimodal machine learningen_ZA
dc.subjectOne-shot learningen_ZA
dc.subjectComputer visionen_ZA
dc.subjectSpeech synthesisen_ZA
dc.subjectUCTDen_ZA
dc.subjectAudio-visual machine learningen_ZA
dc.titleMultimodal one-shot learning of speech and imagesen_ZA
dc.typeThesisen_ZA
dc.description.versionMastersen_ZA
dc.rights.holderStellenbosch Universityen_ZA


Files in this item

Thumbnail
Thumbnail

This item appears in the following Collection(s)

ITEM VIEW