Enhancing customer engagement in e-commerce: improving e-marketing open rates through model-free reinforcement learning.
Date
2024-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: This thesis aims to optimise the delivery time of e-marketing methods such as emails and push notifications, with the intention of increasing customer engagement with an e-commerce platform. This optimisation can be performed using model-free reinforcement learning (RL) methods. First, we aim to develop a statistical, non-stationary model of a customer’s probability to interact with e-marketing at different hours of the day. The model is built using a small sample of anonymous, real customer data. From this sample, we train a Gaussian Mixture Model, which allows us to generate a large synthetic customer base. This customer model acts as the environment of the RL experiments. We then develop several different RL agents, employing algorithms such as Q-learning and DQN, to try and find the best time to deliver e-marketing messages to each customer. We then compare the different agents in terms of learning rate, adaptability and stability. A novel method for epsilon-greedy exploration, tailored to each customer through a parameter-specific approach, is also proposed and tested. Our experiments demonstrate that this method outperforms traditional exploration techniques in the context of our experiments. Our findings demonstrate that RL-based optimisation of delivery time provides a promising method of potentially increasing the open rate and customer engagement, providing valuable insights for e-commerce platforms.
AFRIKAANSE OPSOMMING: Hierdie tesis het ten doel om die aflewertempo van e-bemarkingsmetodes soos e-posse en stootkennisgewings te optimaliseer, met die voorneme om klieëntebetrokkenheid met ’n e-handelsplatform te verhoog. Hierdie optimalisering kan uitgevoer word deur model-vrye versterkingsleermetodes (RL). Eerstens streef ons daarna om ’n statistiese, nie-stasioneêre model van ’n klieënt se waarskynlikheid te ontwikkel om op verskillende tye van die dag met e-bemarking te kommunikeer. Die model is gebou met behulp van ’n klein steekproef van anonieme, werklike klieëntdata. Uit hierdie steekproef lei ons ’n Gaussiese Mengsel Model af, wat ons in staat stel om ’n groot sintetiese klieëntbasis te genereer. Hierdie klieëntmodel dien as die omgewing van die RL-eksperimente. Ons ontwikkel dan verskeie verskillende RL-agente, wat algoritmes soos Q-leer en DQN gebruik, om te probeer en die beste tyd te vind om e-bemarkingsboodskappe aan elke klieënt af te lewer. Ons vergelyk dan die verskillende agente in terme van leertempo, aanpasbaarheid ii https://scholar.sun.ac.za ABSTRACT iii en stabiliteit. ’n Nuwe metode vir epsilon-gulsige verkenning, wat spesifiek vir elke klieënt aangepas is deur ’n parameter-spesifieke benadering, word ook voorgestel en getoets. Ons eksperimente toon dat hierdie metode beter presteer as tradisionele verkenningstegnieke in die konteks van ons eksperimente. Ons bevindings toon dat RL-gebaseerde optimalisering van aflewertempo die oopmaak tempo en klieëntebetrokkenheid doeltreffend verhoog, wat waardevolle insig bied vir e-handelsplatforms.
AFRIKAANSE OPSOMMING: Hierdie tesis het ten doel om die aflewertempo van e-bemarkingsmetodes soos e-posse en stootkennisgewings te optimaliseer, met die voorneme om klieëntebetrokkenheid met ’n e-handelsplatform te verhoog. Hierdie optimalisering kan uitgevoer word deur model-vrye versterkingsleermetodes (RL). Eerstens streef ons daarna om ’n statistiese, nie-stasioneêre model van ’n klieënt se waarskynlikheid te ontwikkel om op verskillende tye van die dag met e-bemarking te kommunikeer. Die model is gebou met behulp van ’n klein steekproef van anonieme, werklike klieëntdata. Uit hierdie steekproef lei ons ’n Gaussiese Mengsel Model af, wat ons in staat stel om ’n groot sintetiese klieëntbasis te genereer. Hierdie klieëntmodel dien as die omgewing van die RL-eksperimente. Ons ontwikkel dan verskeie verskillende RL-agente, wat algoritmes soos Q-leer en DQN gebruik, om te probeer en die beste tyd te vind om e-bemarkingsboodskappe aan elke klieënt af te lewer. Ons vergelyk dan die verskillende agente in terme van leertempo, aanpasbaarheid ii https://scholar.sun.ac.za ABSTRACT iii en stabiliteit. ’n Nuwe metode vir epsilon-gulsige verkenning, wat spesifiek vir elke klieënt aangepas is deur ’n parameter-spesifieke benadering, word ook voorgestel en getoets. Ons eksperimente toon dat hierdie metode beter presteer as tradisionele verkenningstegnieke in die konteks van ons eksperimente. Ons bevindings toon dat RL-gebaseerde optimalisering van aflewertempo die oopmaak tempo en klieëntebetrokkenheid doeltreffend verhoog, wat waardevolle insig bied vir e-handelsplatforms.
Description
Thesis (PhD)--Stellenbosch University, 2024.