Rule Induction with Swarm Intelligence
Date
2022-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Rule induction is the process by which explainable mappings are created between a set of input data instances and a set of labels for the input instances. This process can be seen as an extension of traditional classification algorithms, because rule induction algorithms perform classification b ut h ave t he addedproperty of being transparent when making inferences. Popular algorithms in existing literature tend to use antiquated approaches to induce rule sets. The existing approaches tend to be greedy in nature and do not provide a platform for algorithm expansion or improvement. This thesis investigates a new approach to rule induction using a set-based particle swarm optimisation algorithm. The investigation starts with a comprehensive review of the relevant literature, after which the novel algorithm is proposed and compared with popular rule induction algorithms. After the establishment of the capabilities and validity of the set-based particle swarm optimisation rule induction algorithm, the effect of the objective function on the algorithm is investigated. The objective function is tested with 12 existing performance evaluation metrics in order to understand how the performance of the algorithm can be improved. These 12 existing metrics are then used as inspiration for the proposal of 11 new performance evaluation metrics which are also tested as part of the objective function effect analysis. The effect o f v arying d istributions o f t he v alues o f t he t arget c lass i s also examined. This thesis also investigates the reformulation of the rule induction problem as a multi-objective optimisation problem and applies the newly developed multi-guide set-based particle swarm optimisation algorithm to the multiobjective formulation of rule induction. The performance of rule induction as a multi-objective problem is evaluated by examining how the trade-off between the defined objectives functions affects performance for different datasets. The existing metrics and newly proposed metrics tested in the single objective formulation of the rule induction problem are also tested in the multi-objective formulation.
AFRIKAANS OPSOMMING: Reël induksie is die proses waardeer beskryfbare karterings gestig word tussen invoer datapunte en die klasse van die invoer punte. Hierdie proses kan as ’n uitbreiding van tradisionele klassifikasie algoritmes gesien word omdat die reël induksie algoritmes klasifikasie uitvoer en het die addisionele eienskap van beskryfbaar wees. Populêre algoritmes in bestaande literatuur is geneig om verouderde benaderings te gebruik om reëlversaamelings te bou. Bestaande benaderings is geneig om gierig in natuur te wees en skep nie ’n platvorm vir algoritme uitbreiding of verbetering nie. Hierdie tesis stel ondersoek in vir ’n nuwe benadering van reël induksie deur middel van ’n versameling-gebaseerde partikel swerm optimiseering algoritme. Die ondersoek begin met ’n volledige oorsig van die relevante literatuur, waarna ’n nuwe algoritme voorgestel en vergelyk word met bestaande reël induksie algoritmes. Na die vermoë en geldigheid van die versameling-gebaseerde partikel swerm optimiseering reël induksie algoritme vas gestel is, is die effek wat d ie objekfunksie op die algoritme het ook ondersoek. Die objek funksie is getoets met 12 bestaande doeltreffendheid evaluasie metrieke om te verstaan hoe die doeltreffendheid van die algoritme verbeter kan word. Hierdie 12 bestaande metrieke is dan as inspirasie gebruik om 11 nuwe doeltreffendheid metrieke voor te stel wat ook getoets is as deel van die objek funksie analise. As deel van die doeltreffendheid a nalise i s die effek van di e ve randering van di e ve rdeling van die teiken klas ook geanaliseer. Hierdie tesis kyk ook na die formulasie van die reël induksie probleem as ’n multi-objektiewe optimiseering probleem en pas die nuut ontwikkelde multigids versameling-gebaseerde partikel swerm optimiseering algoritme daarop toe. Die doeltreffendheid van reël induksie oplos as ’n multi-objecktiewe probleem is ondersoek deur om te kyk na die oorwegings tussen die gedefinieerde objekte vir verskillende datastelle. Die bestaande metrieke sowel as die nuut voorgestelde metrieke wat in die enkel-objek algoritme getoets is, is ook in die multi-objekte reël induksie formulasie getoets.
AFRIKAANS OPSOMMING: Reël induksie is die proses waardeer beskryfbare karterings gestig word tussen invoer datapunte en die klasse van die invoer punte. Hierdie proses kan as ’n uitbreiding van tradisionele klassifikasie algoritmes gesien word omdat die reël induksie algoritmes klasifikasie uitvoer en het die addisionele eienskap van beskryfbaar wees. Populêre algoritmes in bestaande literatuur is geneig om verouderde benaderings te gebruik om reëlversaamelings te bou. Bestaande benaderings is geneig om gierig in natuur te wees en skep nie ’n platvorm vir algoritme uitbreiding of verbetering nie. Hierdie tesis stel ondersoek in vir ’n nuwe benadering van reël induksie deur middel van ’n versameling-gebaseerde partikel swerm optimiseering algoritme. Die ondersoek begin met ’n volledige oorsig van die relevante literatuur, waarna ’n nuwe algoritme voorgestel en vergelyk word met bestaande reël induksie algoritmes. Na die vermoë en geldigheid van die versameling-gebaseerde partikel swerm optimiseering reël induksie algoritme vas gestel is, is die effek wat d ie objekfunksie op die algoritme het ook ondersoek. Die objek funksie is getoets met 12 bestaande doeltreffendheid evaluasie metrieke om te verstaan hoe die doeltreffendheid van die algoritme verbeter kan word. Hierdie 12 bestaande metrieke is dan as inspirasie gebruik om 11 nuwe doeltreffendheid metrieke voor te stel wat ook getoets is as deel van die objek funksie analise. As deel van die doeltreffendheid a nalise i s die effek van di e ve randering van di e ve rdeling van die teiken klas ook geanaliseer. Hierdie tesis kyk ook na die formulasie van die reël induksie probleem as ’n multi-objektiewe optimiseering probleem en pas die nuut ontwikkelde multigids versameling-gebaseerde partikel swerm optimiseering algoritme daarop toe. Die doeltreffendheid van reël induksie oplos as ’n multi-objecktiewe probleem is ondersoek deur om te kyk na die oorwegings tussen die gedefinieerde objekte vir verskillende datastelle. Die bestaande metrieke sowel as die nuut voorgestelde metrieke wat in die enkel-objek algoritme getoets is, is ook in die multi-objekte reël induksie formulasie getoets.
Description
Thesis (MSc)--Stellenbosch University, 2023.
Keywords
Swarm Intelligence, Computational Intelligence, Machine Learning, Artificial Intelligence