Merging deep neural networks and probabilistic models using Sum product networks
Date
2020-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: In recent years there has been renewed interest in machine learning algorithms that can explicitly model uncertainty. Machine learning has great potential to revolutionise almost every
sector of our world. To apply these algorithms in areas such as healthcare, insurance, and other
high-risk sectors, it is necessary to know both when they are uncertain and, at least partially,
be able to explain their predictions. A doctor, for example, can only accept or reject a potential treatment if they can understand why the machine learning system has made the recommendation.
Probabilistic models have attractive properties in this regard, as they provide a wide range of probabilistic queries, which help to better understand the model's predictions. However, these probabilistic models are normally either limited in their predictive accuracies or have slow inference times. Sum Product Networks (SPNs) have been proposed as a promising type of deep probabilistic network, as they enable probabilistic queries to be answered in tractable time while also being expressive with high modelling accuracies. In this work, we investigate
how SPNs can help bridge the gap between black-box deep learning models and interpretable but limited probabilistic graphical models. We also investigate learning algorithms for SPNs, and derive a new structure learning algorithm for constructing a complete SPN directly from data in both the generative and discriminative settings.
AFRIKAANSE OPSOMMING: In die afgelope paar jaar is daar ’n hernieude belangstelling in masjienleer-algoritmes wat uitdruklik onsekerheid in hul voorspellings kan modelleer. Masjienleer het groot potensiaal om byna elke sektor van ons wêreld te verbeter. Om hierdie algoritmes in gebiede soos gesondheidsorg, versekering en ander hoë-risiko sektore toe te pas, moet hulle kan weet wanneer hulle onseker is, sowel as ten minste gedeeltelik hul voorspellings kan verduidelik. ’n Dokter kan byvoorbeeld slegs ’n moontlike behandeling aanvaar of verwerp as hy/sy kan verstaan waarom die masjien-leer stelsel hierdie aanbevelings maak. Probabilistiese modelle het aantreklike eienskappe in hierdie opsig, aangesien hulle ’n wye reeks probabilistiese vrae kan antwoord, wat help om die model se voorspellings beter te verstaan. Hierdie probabilistiese modelle is egter normaalweg ´óf beperk in hul voorspellings se akkuraatheid, óf hulle het baie stadige inferensietye. Die Som Produk Netwerk (SPN) is onlangs as ’n belowende soort diep probabilistiese model voorgestel, waar probabilistiese vrae in ’n redelike tyd beantwoord kan word, terwyl dit ook ekspressief is met ’n hoë modellering akkuraatheid. In hierdie werk ondersoek ons hoe ’n SPN gebruik kan word om te help om die gaping tussen die swartkassie-diepleermodelle en verduidelikbare, maar beperkte, probabilistiese grafiese modelle te oorbrug. Ons ondersoek ook leeralgoritmes vir ’n SPN, en verkry ’n nuwe struktuur-leeralgoritme vir die konstruksie van ’n volledige SPN direk uit data in die generatiewe asook diskriminerende mode.
AFRIKAANSE OPSOMMING: In die afgelope paar jaar is daar ’n hernieude belangstelling in masjienleer-algoritmes wat uitdruklik onsekerheid in hul voorspellings kan modelleer. Masjienleer het groot potensiaal om byna elke sektor van ons wêreld te verbeter. Om hierdie algoritmes in gebiede soos gesondheidsorg, versekering en ander hoë-risiko sektore toe te pas, moet hulle kan weet wanneer hulle onseker is, sowel as ten minste gedeeltelik hul voorspellings kan verduidelik. ’n Dokter kan byvoorbeeld slegs ’n moontlike behandeling aanvaar of verwerp as hy/sy kan verstaan waarom die masjien-leer stelsel hierdie aanbevelings maak. Probabilistiese modelle het aantreklike eienskappe in hierdie opsig, aangesien hulle ’n wye reeks probabilistiese vrae kan antwoord, wat help om die model se voorspellings beter te verstaan. Hierdie probabilistiese modelle is egter normaalweg ´óf beperk in hul voorspellings se akkuraatheid, óf hulle het baie stadige inferensietye. Die Som Produk Netwerk (SPN) is onlangs as ’n belowende soort diep probabilistiese model voorgestel, waar probabilistiese vrae in ’n redelike tyd beantwoord kan word, terwyl dit ook ekspressief is met ’n hoë modellering akkuraatheid. In hierdie werk ondersoek ons hoe ’n SPN gebruik kan word om te help om die gaping tussen die swartkassie-diepleermodelle en verduidelikbare, maar beperkte, probabilistiese grafiese modelle te oorbrug. Ons ondersoek ook leeralgoritmes vir ’n SPN, en verkry ’n nuwe struktuur-leeralgoritme vir die konstruksie van ’n volledige SPN direk uit data in die generatiewe asook diskriminerende mode.
Description
Thesis (MEng)--Stellenbosch University, 2020.
Keywords
Machine learning, Neural networks (Computer science), Sum Product Networks, UCTD, Probabilities