Deep learning for tabular data : an exploratory study
Date
2019-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH SUMMARY : From about 2006, deep learning has proven to be very successul in application areas such as computer vision, natural language processing, speech and audio recognition, machine translation, bioinformatics, and social network filtering. These successes were undoubtedly facilitated by many advances in neural network architectures. In contrast, deep learning has not yet been found to excel in the context of tabular datasets.
Many key machine learning tasks make use of tabular data, where currently
the best machine learning models for tabular data use classification or regression trees as base learners. Therefore, the objective of this study is to identify, discuss and explore recent developments in deep learning which may be used to enhance the accuracy of deep neural networks in the tabular data domain.
All major developments in the deep learning field are discussed and critically
considered, with a view to improving deep learning in the context of tabular
data. The challenges of applying deep learning to tabular data are identified,
and on each of these fronts, potential improvements are proposed.
The most promising modern deep learning architectures are further explored
by means of empirical work. We also evaluate the validity of findings reported
in the literature, and comment on the effectiveness of recent proposals. A useful
byproduct of the study is the development of a code base that may be used to implement the latest deep learning techniques, as well as for comparative model selection experiments.
AFRIKAANSE OPSOMMING : Vanaf ongeveer 2006 is die sukses van diepleer-tegnieke in toespassings-areas soos rekenaarvisie, taalprosessering, spraak- en klankherkenning, masjienvertaling, bio-informatika, en om sosiale netwerk te filtreer, alombekend. Die sukses van diepleer-metodes is ongetwyfeld aangehelp deur baie ontwikkelings rondom die argitektuur van neurale netwerke. Nogtans is bevind dat diep neural netwerke tot dusver nie goed vaar in die konteks van die gebruik van gewone matriksvorm data nie. Verskeie belangrike masjienleer take maak gebruik van matriksvorm data, waar die beste masjienleer modelle in hierdie konteks klassifikasie- of regressiebome gebruik as basis. Derhalwe is die doelwit van hierdie studie om onlangse ontwikkelings in diepleer (wat gebruik kan word om die akkuraatheid van diep neural netwerke te verbeter in die konteks van matriksvorm-data), te identifiseer, te bespreek, en empiries te ondersoek. Alle belangrike ontwikkelings in die diepleer veld word bespreek, en krities beskou, ten einde diepleer te verbeter in die konteks van matriksvorm data. Die uitdagings wat die toepassing van diepleer op matriksvorm data bied, word geidentifiseer, en op elkeen van hierdie fronte word potensiële verbeterings voorgestel. Die belowendste moderne diepleer argitekture word deur middel van empiriese werk verder verken. Ons evalueer ook die geldigheid van bevindings wat in die literatuur rapporteer word, en lewer kommentaar op die effektiwiteit van onlangse voorstelle. ’n Nuttige byproduk van die studie is die ontwikkeling van ’n kodebasis wat gebruik kan word vir die implementering van die nuutste diepleer-tegnieke, asook vir vergelykende eksperimente rondom modelseleksie.
AFRIKAANSE OPSOMMING : Vanaf ongeveer 2006 is die sukses van diepleer-tegnieke in toespassings-areas soos rekenaarvisie, taalprosessering, spraak- en klankherkenning, masjienvertaling, bio-informatika, en om sosiale netwerk te filtreer, alombekend. Die sukses van diepleer-metodes is ongetwyfeld aangehelp deur baie ontwikkelings rondom die argitektuur van neurale netwerke. Nogtans is bevind dat diep neural netwerke tot dusver nie goed vaar in die konteks van die gebruik van gewone matriksvorm data nie. Verskeie belangrike masjienleer take maak gebruik van matriksvorm data, waar die beste masjienleer modelle in hierdie konteks klassifikasie- of regressiebome gebruik as basis. Derhalwe is die doelwit van hierdie studie om onlangse ontwikkelings in diepleer (wat gebruik kan word om die akkuraatheid van diep neural netwerke te verbeter in die konteks van matriksvorm-data), te identifiseer, te bespreek, en empiries te ondersoek. Alle belangrike ontwikkelings in die diepleer veld word bespreek, en krities beskou, ten einde diepleer te verbeter in die konteks van matriksvorm data. Die uitdagings wat die toepassing van diepleer op matriksvorm data bied, word geidentifiseer, en op elkeen van hierdie fronte word potensiële verbeterings voorgestel. Die belowendste moderne diepleer argitekture word deur middel van empiriese werk verder verken. Ons evalueer ook die geldigheid van bevindings wat in die literatuur rapporteer word, en lewer kommentaar op die effektiwiteit van onlangse voorstelle. ’n Nuttige byproduk van die studie is die ontwikkeling van ’n kodebasis wat gebruik kan word vir die implementering van die nuutste diepleer-tegnieke, asook vir vergelykende eksperimente rondom modelseleksie.
Description
Thesis (MCom)--Stellenbosch University, 2019.
Keywords
Machine learning, Deep learning, Neural networks (Computer science), Tabular Data, UCTD