Mixtures of heterogeneous experts
Date
2022-10
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This research considers the problem of the No-Free-Launch-Theorem, which states that no
one machine learning algorithm performs best on all problems due to algorithms having
different inductive biases. Another problem is that the combinations of experts of the
same type, referred to as a mixture of homogeneous experts, do not capitalize on the
different inductive biases of different machine learning algorithms. Research has shown
that mixtures of homogeneous experts deliver improved accuracy compared to that of
the base experts in the mixture. However, the predictive power of a homogeneous
mixture of experts is still limited by the inductive bias of the algorithm that makes up
the mixture of experts. Therefore, this research proposes the development of mixtures of
heterogeneous experts through the combination of different machine learning algorithms
to take advantage of the strengths of the machine learning algorithms and to reduce the
adverse effects of the inductive biases of the different algorithms.
A set of different machine learning algorithms are selected to develop four different types
of mixtures of experts in the research. Empirical analyses are performed using nonparametric
statistical tests to compare the generalization performance of the ensembles.
The comparison is carried out to investigate the performance of the homogeneous
and heterogeneous ensembles in a number of modelling studies examined on a set
of classification and regression problems using selected performance measures. The
problems represent varying levels of complexity and characteristics to determine the
characteristics and complexities for which the heterogeneous ensembles outperform homogeneous ensembles.
For classification problems, the empirical results across six modelling studies indicate
that heterogeneous ensembles generate improved predictive performance compared to
the developed homogeneous ensembles by taking advantage of the different inductive
biases of the different base experts in the ensembles. Specifically, the heterogeneous
ensembles developed using different machine learning algorithms, with the same and
different configurations, showed superiority over other heterogeneous ensembles and the
homogeneous ensembles developed in this research. The ensembles achieved the best
and second-best overall accuracy rank across the classification datasets in each modelling
study.
For regression problems, the heterogeneous ensembles outperformed the homogeneous
ensembles across five modelling studies. Although, a random forest algorithm
achieved competitive generalization performance compared to that of the heterogeneous
ensembles. Based on the average ranks, the heterogeneous ensembles developed using
different machine learning algorithms where the base members consist of the same and
different configurations still produced better predictive performance than a number of
heterogeneous ensembles and homogeneous ensembles across the modelling studies.
Therefore, the implementation of a mixture of heterogeneous experts removes the need
for the computationally expensive process of finding the best performing homogeneous
ensemble. The heterogeneous ensembles of different machine learning algorithms are
consistently the most or one of the most accurate ensembles across all classification and
regression problems. This is attributed to the advantage of capitalizing on the inductive
biases of the different machine learning algorithms and the different configurations of the
base members in the ensembles.
AFRIKAANS OPSOMMING: Hierdie navorsing oorweeg die probleem van die No-Free-Launch-Theorem, wat aandui dat geen masjienleer algoritme die beste op alle probleme presteer nie, as gevolg van algoritmes wat verskillende induktiewe vooroordele het. Nog ’n probleem is dat die kombinasies van kundiges van dieselfde tipe, waarna verwys word as ’n mengsel van homogene kundiges, nie munt slaan uit die verskillende induktiewe vooroordele van verskillende masjienleer algoritmes nie. Navorsing het getoon dat mengsels van homogene kundiges verbeterde akkuraatheid lewer in vergelyking met dié van die basis kundiges in die mengsel. Die voorspellings krag van ’n homogene mengsel van kundiges word egter steeds beperk deur die induktiewe vooroordeel van die algoritme waaruit die mengsel van kundiges bestaan. Daarom stel hierdie navorsing die ontwikkeling van mengsels van heterogene kundiges voor deur die kombinasie van verskillende masjienleer algoritmes om voordeel te trek uit die sterk punte van die masjienleer algoritmes en om die nadelige effekte van die induktiewe vooroordele van die verskillende algoritmes te verminder. ’n Stel verskillende masjienleer algoritmes word gekies om vier verskillende tipes mengsels van kundiges in die navorsing te ontwikkel. Empiriese ontledings word uitgevoer met behulp van nie-parametriese statistiese toetse om die veralgemenings prestasie van die ensembles te vergelyk. Die vergelyking word uitgevoer om die prestasie van die homogene en heterogene ensembles te ondersoek in ’n aantal modellering studies wat ondersoek is op ’n stel klassifikasie- en regressie probleme deur gebruik te maak van geselekteerde prestasiemaatstawwe. Die probleme verteenwoordig verskillende vlakke van kompleksiteit en kenmerke om die kenmerke en kompleksiteite te bepaal waarvoor die heterogene ensembles beter as homogene ensembles presteer. Vir klassifikasie probleme dui die empiriese resultate oor ses modellering studies aan dat heterogene ensembles verbeterde voorspellende prestasie genereer in vergelyking met die ontwikkelde homogene ensembles deur voordeel te trek uit die verskillende induktiewe vooroordele van die verskillende basis kundiges in die ensembles. Spesifiek, die heterogene ensembles wat ontwikkel is deur gebruik te maak van verskillende masjienleer algoritmes, met dieselfde en verskillende konfigurasies, het superioriteit getoon bo ander heterogene ensembles en die homogene ensembles wat in hierdie studie ontwikkel is. Die ensembles het die beste en tweede beste algehele akkuraatheid rangorde oor die klassifikasie datastelle in elke modellering studie behaal. Vir regressie probleme het die heterogene ensembles beter gevaar as die homogene ensembles oor vyf modellering studies. Alhoewel, ’n ewekansige woud algoritme het mededingende veralgemenings prestasie behaal in vergelyking met die van die heterogene ensembles. Gebaseer op die gemiddelde geledere, het die heterogene ensembles ontwikkel deur gebruik te maak van verskillende masjienleer algoritmes waar die basis lede uit dieselfde bestaan en verskillende konfigurasies steeds beter voorspellende prestasie gelewer het as ’n aantal heterogene ensembles en homogene ensembles oor die modellering studies heen. Daarom verwyder die implementering van ’n mengsel van heterogene kundiges die behoefte aan die rekenkundig duur proses om die beste presterende homogene ensemble te vind. Die heterogene ensembles van verskillende masjienleer algoritmes is konsekwent die meeste of een van die akkuraatste ensembles oor alle klassifikasie- en regressie probleme. Dit word toegeskryf aan die voordeel om munt te slaan uit die induktiewe vooroordele van die verskillende masjienleer algoritmes en die verskillende konfigurasies van die basis lede in die ensembles.
AFRIKAANS OPSOMMING: Hierdie navorsing oorweeg die probleem van die No-Free-Launch-Theorem, wat aandui dat geen masjienleer algoritme die beste op alle probleme presteer nie, as gevolg van algoritmes wat verskillende induktiewe vooroordele het. Nog ’n probleem is dat die kombinasies van kundiges van dieselfde tipe, waarna verwys word as ’n mengsel van homogene kundiges, nie munt slaan uit die verskillende induktiewe vooroordele van verskillende masjienleer algoritmes nie. Navorsing het getoon dat mengsels van homogene kundiges verbeterde akkuraatheid lewer in vergelyking met dié van die basis kundiges in die mengsel. Die voorspellings krag van ’n homogene mengsel van kundiges word egter steeds beperk deur die induktiewe vooroordeel van die algoritme waaruit die mengsel van kundiges bestaan. Daarom stel hierdie navorsing die ontwikkeling van mengsels van heterogene kundiges voor deur die kombinasie van verskillende masjienleer algoritmes om voordeel te trek uit die sterk punte van die masjienleer algoritmes en om die nadelige effekte van die induktiewe vooroordele van die verskillende algoritmes te verminder. ’n Stel verskillende masjienleer algoritmes word gekies om vier verskillende tipes mengsels van kundiges in die navorsing te ontwikkel. Empiriese ontledings word uitgevoer met behulp van nie-parametriese statistiese toetse om die veralgemenings prestasie van die ensembles te vergelyk. Die vergelyking word uitgevoer om die prestasie van die homogene en heterogene ensembles te ondersoek in ’n aantal modellering studies wat ondersoek is op ’n stel klassifikasie- en regressie probleme deur gebruik te maak van geselekteerde prestasiemaatstawwe. Die probleme verteenwoordig verskillende vlakke van kompleksiteit en kenmerke om die kenmerke en kompleksiteite te bepaal waarvoor die heterogene ensembles beter as homogene ensembles presteer. Vir klassifikasie probleme dui die empiriese resultate oor ses modellering studies aan dat heterogene ensembles verbeterde voorspellende prestasie genereer in vergelyking met die ontwikkelde homogene ensembles deur voordeel te trek uit die verskillende induktiewe vooroordele van die verskillende basis kundiges in die ensembles. Spesifiek, die heterogene ensembles wat ontwikkel is deur gebruik te maak van verskillende masjienleer algoritmes, met dieselfde en verskillende konfigurasies, het superioriteit getoon bo ander heterogene ensembles en die homogene ensembles wat in hierdie studie ontwikkel is. Die ensembles het die beste en tweede beste algehele akkuraatheid rangorde oor die klassifikasie datastelle in elke modellering studie behaal. Vir regressie probleme het die heterogene ensembles beter gevaar as die homogene ensembles oor vyf modellering studies. Alhoewel, ’n ewekansige woud algoritme het mededingende veralgemenings prestasie behaal in vergelyking met die van die heterogene ensembles. Gebaseer op die gemiddelde geledere, het die heterogene ensembles ontwikkel deur gebruik te maak van verskillende masjienleer algoritmes waar die basis lede uit dieselfde bestaan en verskillende konfigurasies steeds beter voorspellende prestasie gelewer het as ’n aantal heterogene ensembles en homogene ensembles oor die modellering studies heen. Daarom verwyder die implementering van ’n mengsel van heterogene kundiges die behoefte aan die rekenkundig duur proses om die beste presterende homogene ensemble te vind. Die heterogene ensembles van verskillende masjienleer algoritmes is konsekwent die meeste of een van die akkuraatste ensembles oor alle klassifikasie- en regressie probleme. Dit word toegeskryf aan die voordeel om munt te slaan uit die induktiewe vooroordele van die verskillende masjienleer algoritmes en die verskillende konfigurasies van die basis lede in die ensembles.
Description
Thesis (PhD) -- Stellenbosch University, 2022.
Keywords
Expert systems (Computer science), Machine learning, Nonparametric statistics, Algorithms, UCTD