Texture synthesis with neural networks
Date
2018-12
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT : Creating detailed texture maps for virtual environments is often a timeconsuming process. Procedural texture generation enables the creation of
more rich and detailed virtual environments with minimal input needed from
an artist. However, finding a flexible generative model of real world textures
remains an open problem.
There are currently two key limiting factors.
The first key limitation is a lack of available knowledge on the capability of the various neural network based techniques and how the components
associated with each technique affects the quality of synthesized textures.
The second key limitation in modern generative models is the inability to
apply localized constraints in situations where there are complex interactions
between two regions within a texture.
To address these limitations, three areas of interest (training set, network
architecture, and texture representation) involving the synthesis process are
identified specifically for neural network-based techniques and their effects on
the synthesized textures are investigated. Included in this investigation is a
comparative study focusing on subjective quality and quantitative error measurement between the currently available techniques.
Second, a novel convolutional neural network-based texture model is proposed, consisting of four summary statistics (content or feature maps, Gramian
matrices, transformed Gramian matrices, and total variation), as well as spectrum constraints. The Fourier transform and windowed Fourier transform are
investigated in applying spectrum constraints, and it is found that the windowed Fourier transform improved the quality and consistency of the generated
textures.
During the component investigation, it was identified that the VGG-19 network still produces comparable results when compared to more modern network architectures. Additionally, it was also demonstrated that direct methods are capable of producing results equal to the iterative approach if stochastic
textures are synthesized, but produces unsatisfactory results with irregular
and regular textures.
Finally, the efficacy of the proposed technique is demonstrated by comparing the generated output with that of related techniques.
AFRIKAANSE OPSOMMING : Om gedetailleerde tekstuurbeelde vir virtuele omgewings te skep, is dikwels ’n tydrowende proses. Prosedurale tekstuur generasie bemagtig kunstenaars om meer ryk en gedetailleerde virtuele omgewings te skep met minimale insette. Dit is egter nog ’n oop probleem om ’n buigsame generatiewe model van realistiese teksture te vind. Daar is tans twee sleutel beperkende faktore. Die eerste sleutel beperking is ’n gebrek aan beskikbare kennis oor die vermoë van die verskillende neurale netwerk-gebaseerde tegnieke en hoe die komponente wat met elke tegniek verband hou, die kwaliteit van gesintetiseerde teksture beïnvloed. Die tweede sleutel beperking in moderne generatiewe modelle is die onvermoë om gelokaliseerde beperkings toe te pas in situasies waar daar komplekse interaksies tussen twee gebiede binne ’n tekstuur is. Om hierdie beperkings aan te spreek, word drie belangrike aspekte (opleidingstel, netwerkargitektuur en tekstuurvoorstelling) wat die sintese-proses behels, spesifiek vir neurale netwerk-gebaseerde tegnieke geïdentifiseer en hul effekte op die gesintetiseerde teksture word ondersoek. Ingesluit in hierdie ondersoek is ’n vergelykende studie wat fokus op subjektiewe kwaliteit en kwantitatiewe foutmeting tussen die beskikbare tegnieke. Tweedens word ’n nuwe konvolusionele neurale netwerk tekstuurmodel voorgestel en bestaan uit vier samevattingstatistieke (kenmerkbeelde, Gramianmatrikse, Grammatiese matrikse, en totale variasie), asook spektrum beperkinge. Die Fourier transformasie en gevensterde Fourier transformasie word ondersoek in die toepassing van spektrum beperkings, en dit word bevind dat die gevensterde Fourier transformasie die gehalte van die gegenereerde teksture verbeter. Tydens die komponentondersoek is bevind dat die VGG-19-netwerk steeds vergelykbare resultate lewer in vergelyking met meer moderne netwerkargitekture. Daarbenewens is ook getoon dat direkte metodes in staat is om resultate te lewer wat gelyk is aan die iteratiewe benadering as stogastiese teksture gesintetiseer word, maar onbevredigende resultate lewer met onreëlmatige en reëlmatige teksture. Ten slotte word die effektiwiteit van die voorgestelde tegniek gedemonstreer deur die gegenereerde uitset met die van verwante tegnieke te vergelyk.
AFRIKAANSE OPSOMMING : Om gedetailleerde tekstuurbeelde vir virtuele omgewings te skep, is dikwels ’n tydrowende proses. Prosedurale tekstuur generasie bemagtig kunstenaars om meer ryk en gedetailleerde virtuele omgewings te skep met minimale insette. Dit is egter nog ’n oop probleem om ’n buigsame generatiewe model van realistiese teksture te vind. Daar is tans twee sleutel beperkende faktore. Die eerste sleutel beperking is ’n gebrek aan beskikbare kennis oor die vermoë van die verskillende neurale netwerk-gebaseerde tegnieke en hoe die komponente wat met elke tegniek verband hou, die kwaliteit van gesintetiseerde teksture beïnvloed. Die tweede sleutel beperking in moderne generatiewe modelle is die onvermoë om gelokaliseerde beperkings toe te pas in situasies waar daar komplekse interaksies tussen twee gebiede binne ’n tekstuur is. Om hierdie beperkings aan te spreek, word drie belangrike aspekte (opleidingstel, netwerkargitektuur en tekstuurvoorstelling) wat die sintese-proses behels, spesifiek vir neurale netwerk-gebaseerde tegnieke geïdentifiseer en hul effekte op die gesintetiseerde teksture word ondersoek. Ingesluit in hierdie ondersoek is ’n vergelykende studie wat fokus op subjektiewe kwaliteit en kwantitatiewe foutmeting tussen die beskikbare tegnieke. Tweedens word ’n nuwe konvolusionele neurale netwerk tekstuurmodel voorgestel en bestaan uit vier samevattingstatistieke (kenmerkbeelde, Gramianmatrikse, Grammatiese matrikse, en totale variasie), asook spektrum beperkinge. Die Fourier transformasie en gevensterde Fourier transformasie word ondersoek in die toepassing van spektrum beperkings, en dit word bevind dat die gevensterde Fourier transformasie die gehalte van die gegenereerde teksture verbeter. Tydens die komponentondersoek is bevind dat die VGG-19-netwerk steeds vergelykbare resultate lewer in vergelyking met meer moderne netwerkargitekture. Daarbenewens is ook getoon dat direkte metodes in staat is om resultate te lewer wat gelyk is aan die iteratiewe benadering as stogastiese teksture gesintetiseer word, maar onbevredigende resultate lewer met onreëlmatige en reëlmatige teksture. Ten slotte word die effektiwiteit van die voorgestelde tegniek gedemonstreer deur die gegenereerde uitset met die van verwante tegnieke te vergelyk.
Description
Thesis (MSc)--Stellenbosch University, 2018.
Keywords
Texture synthesis, Neural networks (Computer science), Fourier transform, Texture analysis, Neural style transfer, UCTD