Interpretation of an artificial neural network as a black box model
Date
2022-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY: In the field of machine learning, the main objective is generally to use machine learning models to study patterns and extract information from available data. The knowledge gained by the model can be used for inference and making possible future predictions for unseen data. Artificial neural networks (ANNs) are one of the most powerful models for solving machine learning problems that are of a complex nature. Complex machine learning problems may include non-linear problems, and, in this case, a simple linear model is not an appropriate solution. ANNs have been proven to have high prediction accuracy as a result of learning from its training process. ANNs have been grouped in the class of machine learning models that are viewed as a black box. Black box models are defined by a lack of transparency and interpretability. These types of models cannot be easily explained or understood by humans and therefore create a lack of trust in the model in its entirety.
Several methods have been developed to improve the interpretability of ANNs. These methods can be categorised into two groups: model-specific methods that are unique to a certain class of machine learning models, and model-agnostic methods that can be used for interpretation of various machine learning models irrespective of the model type. Model-specific methods used in this study include a neural interpretation diagram (NID), Garson’s algorithm, and the partial derivatives method. These three methods focus on the structure of the ANN and more specifically try to compute variable importance by investigating the connection weights in the network. Model-agnostic methods used in the study include partial dependence plots (PDP), permutation feature importance, and the global surrogate method. An overview of ANNs and methods for model interpretation are discussed in a literature review. This is followed by a research methodology with a more detailed discussion on the relevant methods. A simulation study is done to investigate and compare selected methods for model interpretation. The selected methods are Garson’s algorithm, permutation feature importance, and the global surrogate method. Finally, a practical data set is investigated using an ANN for making predictions. The methods for model interpretation discussed in the study are implemented in the practical study with the goal of identifying features that are significant to the ANN model.
AFRIKAANSE OPSOMMING: In masjienleer is die doel om masjienleermodelle te gebruik om patrone te bestudeer en inligting uit beskikbare data te onttrek. Die kennis wat uit die model verkry word, kan gebruik word vir afleidings en moontlike toekomstige voorspellings wanneer die model nuwe data ontvang. Kunsmatige neurale netwerke is een van die kragtigste modelle vir die oplossing van masjienleerprobleme wat van komplekse aard is. Komplekse masjienleerprobleme kan nie-lineêre probleme insluit en in hierdie geval sal ‘n eenvoudige lineêre model nie ‘n gepaste oplossing wees nie. As gevolg van die leerproses van kunsmatige neurale netwerke, kan hoë voorspellingsakkuraatheid gehandhaaf word. Kunsmatige neurale netwerke is gegroepeer in die klas van masjienleermodelle wat as swart boks beskou word. Swart boks-modelle word gedefinieer deur gebrek aan deursigtigheid en interpreteerbaarheid. Hierdie tipe modelle kan nie maklik deur mense verduidelik of verstaan word nie en skep dus 'n gebrek aan vertroue in die model in sy geheel. Verskeie metodes is ontwikkel om die interpreteerbaarheid van kunsmatige neurale netwerke te verbeter. Hierdie metodes kan in twee groepe gekategoriseer word: modelspesifieke metodes wat uniek is aan 'n sekere klas masjienleermodelle, en model-agnostiese metodes wat gebruik kan word vir die interpretasie van verskeie masjienleermodelle ongeag van die modeltipe. Modelspesifieke-metodes wat in hierdie studie gebruik word, sluit in neurale interpretasiediagram (NID), Garson se algoritme en die gedeeltelike afgeleide metode. Hierdie drie metodes fokus op die struktuur van die kunsmatige neurale netwerk en probeer meer spesifiek om die belangrikheid van veranderlikes te bereken deur die verbindingsgewigte in die netwerk te ondersoek. Model-agnostiese metodes wat in die studie gebruik word, sluit in gedeeltelike afhanklikheidsdiagramme (PDP), permutasie veranderlike belangrikheid, en die globale surrogaat metode. 'n Oorsig van kunsmatige neurale netwerke en metodes vir modelinterpretasie word in literatuurstudie bespreek. Dit word gevolg deur navorsingsmetodologie met meer gedetailleerde bespreking oor die relevante metodes. Simulasiestudie is uitgevoer om geselekteerde metodes vir modelinterpretasie te ondersoek en te vergelyk. Die geselekteerde metodes is Garson se algoritme, permutasie veranderlike belangrikheid en die globale surrogaatmetode. Laastens word praktiese datastel ondersoek deur kunsmatige neurale netwerk te gebruik om voorspellings te maak. Die metodes vir modelinterpretasie wat in die studie bespreek is, word in die praktiese studie geïmplementeer met die doel om veranderlikes te identifiseer wat betekenisvol is vir die kunsmatige neurale netwerk model.
AFRIKAANSE OPSOMMING: In masjienleer is die doel om masjienleermodelle te gebruik om patrone te bestudeer en inligting uit beskikbare data te onttrek. Die kennis wat uit die model verkry word, kan gebruik word vir afleidings en moontlike toekomstige voorspellings wanneer die model nuwe data ontvang. Kunsmatige neurale netwerke is een van die kragtigste modelle vir die oplossing van masjienleerprobleme wat van komplekse aard is. Komplekse masjienleerprobleme kan nie-lineêre probleme insluit en in hierdie geval sal ‘n eenvoudige lineêre model nie ‘n gepaste oplossing wees nie. As gevolg van die leerproses van kunsmatige neurale netwerke, kan hoë voorspellingsakkuraatheid gehandhaaf word. Kunsmatige neurale netwerke is gegroepeer in die klas van masjienleermodelle wat as swart boks beskou word. Swart boks-modelle word gedefinieer deur gebrek aan deursigtigheid en interpreteerbaarheid. Hierdie tipe modelle kan nie maklik deur mense verduidelik of verstaan word nie en skep dus 'n gebrek aan vertroue in die model in sy geheel. Verskeie metodes is ontwikkel om die interpreteerbaarheid van kunsmatige neurale netwerke te verbeter. Hierdie metodes kan in twee groepe gekategoriseer word: modelspesifieke metodes wat uniek is aan 'n sekere klas masjienleermodelle, en model-agnostiese metodes wat gebruik kan word vir die interpretasie van verskeie masjienleermodelle ongeag van die modeltipe. Modelspesifieke-metodes wat in hierdie studie gebruik word, sluit in neurale interpretasiediagram (NID), Garson se algoritme en die gedeeltelike afgeleide metode. Hierdie drie metodes fokus op die struktuur van die kunsmatige neurale netwerk en probeer meer spesifiek om die belangrikheid van veranderlikes te bereken deur die verbindingsgewigte in die netwerk te ondersoek. Model-agnostiese metodes wat in die studie gebruik word, sluit in gedeeltelike afhanklikheidsdiagramme (PDP), permutasie veranderlike belangrikheid, en die globale surrogaat metode. 'n Oorsig van kunsmatige neurale netwerke en metodes vir modelinterpretasie word in literatuurstudie bespreek. Dit word gevolg deur navorsingsmetodologie met meer gedetailleerde bespreking oor die relevante metodes. Simulasiestudie is uitgevoer om geselekteerde metodes vir modelinterpretasie te ondersoek en te vergelyk. Die geselekteerde metodes is Garson se algoritme, permutasie veranderlike belangrikheid en die globale surrogaatmetode. Laastens word praktiese datastel ondersoek deur kunsmatige neurale netwerk te gebruik om voorspellings te maak. Die metodes vir modelinterpretasie wat in die studie bespreek is, word in die praktiese studie geïmplementeer met die doel om veranderlikes te identifiseer wat betekenisvol is vir die kunsmatige neurale netwerk model.
Description
Thesis (MCom)--Stellenbosch University, 2022.
Keywords
Machine learning -- South Africa, Artificial intelligence -- South Africa, Artificial neural networks, UCTD