Adaptive conversational systems harnessing human expertise in modern chatbots
Date
2024-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Chatbots are a rapidly evolving technology integral to the automation of customer service. Traditionally designed around complex if-then-else statements, the technology has seen a paradigm shift towards deep learning techniques for improved flexibility and user interaction. This research proposes a novel approach for training chatbots to learn more effectively from human support agents within automated customer service. Capitalising on the extensive data generated by these agents, we develop a framework to train chatbot models to emulate human-like responses, encapsulating nuances of unique language and individual mannerisms. Using state-of-the-art machine learning and natural language processing techniques, we train these models, achieving more contextually appropriate and authentic responses that accommodate the subtle complexities of human interaction. While commercial large language models (LLMs) like ChatGPT have demonstrated proficiency in customer service automation, they present limitations that could hinder their practical use. Such models, being proprietary, are not available for modification, impeding a company’s capacity to customise them to their specific needs. The costs, both financial and technical, associated with training a bespoke LLM can also be prohibitive for many organisations. Furthermore, these models, with their billions of parameters, require substantial hardware resources and may struggle to manage high-volume, swift interactions typical in a customer service environment. Additionally, due to their general-purpose nature, these models can occasionally produce unpredictable or undesirable responses as they lack specific domain knowledge. Our proposed model, developed on the more manageable GPT-2, offers a tailored, cost-effective, and adaptive solution to these challenges. Although our research is limited in its scope, the findings indicate an improvement in the usability and effectiveness of chatbots trained with our proposed method. This study contributes to the broader field of AI-driven customer service by augmenting the development of more sophisticated and user-friendly chatbot systems.
AFRIKAANSE OPSOMMING: Kletsbotte is ’n vinnig ontwikkelende tegnologie wat ’n integrale deel van die outomatisering van kli¨entediens is. Tradisioneel ontwerp rondom komplekse as-dan-ander-stellings, het die tegnologie ’n paradigmaskuif na diepleertegnieke vir verbeterde buigsaamheid en gebruikersinteraksie gesien. Hierdie navorsing stel ’n nuwe benadering voor vir die opleiding van kletsbotte om meer effektief te leer van menslike ondersteuningsagente binne outomatiese kli¨entediens. Deur gebruik te maak van die uitgebreide data wat deur hierdie agente gegenereer word, ontwikkel ons ’n raamwerk om kletsbotmodelle op te lei om mensagtige reaksies na te boots, wat nuanses van unieke taal en individuele maniere insluit. Deur gebruik te maak van moderne masjienleer en natuurlike taalverwerkingstegnieke, lei ons hierdie modelle op, om meer kontekstueel toepaslike en outentieke response te bereik wat die subtiele kompleksiteite van menslike interaksie akkommodeer. Terwyl kommersi¨ele groottaalmodelle (LLM’s) soos ChatGPT vaardigheid in kli¨entediensoutomatisering getoon het, bied hulle beperkings wat hul praktiese gebruik kan belemmer. Sulke modelle, wat eie is, is nie beskikbaar vir wysiging nie, wat ’n maatskappy se vermo¨e belemmer om hulle aan te pas by hul spesifieke behoeftes. Die koste, beide finansieel en tegnies, verbonde aan die opleiding van ’n pasgemaakte LLM kan ook onbetaalbaar wees vir baie organisasies. Verder benodig hierdie modelle, met hul miljarde parameters, aansienlike hardewarehulpbronne en kan dit sukkel om ho¨evolume, vinnige interaksies te bestuur wat tipies is in ’n kli¨entediensomgewing. Boonop kan hierdie modelle, as gevolg van hul algemene doeleinde aard, soms onvoorspelbare of ongewenste response lewer aangesien hulle nie spesifieke domeinkennis het nie. Ons voorgestelde model, ontwikkel op die meer hanteerbare GPT-2, bied ’n pasgemaakte, koste-effektiewe en aanpasbare oplossing vir hierdie uitdagings. Alhoewel ons navorsing beperk is in sy omvang, dui die bevindinge op ’n verbetering in die bruikbaarheid en doeltreffendheid van kletsbotte wat met ons voorgestelde metode opgelei is. Hierdie studie dra by tot die bre¨er veld van KI-gedrewe kli¨entediens deur die ontwikkeling van meer gesofistikeerde en gebruikersvriendelike kletsbot-stelsels aan te vul.
AFRIKAANSE OPSOMMING: Kletsbotte is ’n vinnig ontwikkelende tegnologie wat ’n integrale deel van die outomatisering van kli¨entediens is. Tradisioneel ontwerp rondom komplekse as-dan-ander-stellings, het die tegnologie ’n paradigmaskuif na diepleertegnieke vir verbeterde buigsaamheid en gebruikersinteraksie gesien. Hierdie navorsing stel ’n nuwe benadering voor vir die opleiding van kletsbotte om meer effektief te leer van menslike ondersteuningsagente binne outomatiese kli¨entediens. Deur gebruik te maak van die uitgebreide data wat deur hierdie agente gegenereer word, ontwikkel ons ’n raamwerk om kletsbotmodelle op te lei om mensagtige reaksies na te boots, wat nuanses van unieke taal en individuele maniere insluit. Deur gebruik te maak van moderne masjienleer en natuurlike taalverwerkingstegnieke, lei ons hierdie modelle op, om meer kontekstueel toepaslike en outentieke response te bereik wat die subtiele kompleksiteite van menslike interaksie akkommodeer. Terwyl kommersi¨ele groottaalmodelle (LLM’s) soos ChatGPT vaardigheid in kli¨entediensoutomatisering getoon het, bied hulle beperkings wat hul praktiese gebruik kan belemmer. Sulke modelle, wat eie is, is nie beskikbaar vir wysiging nie, wat ’n maatskappy se vermo¨e belemmer om hulle aan te pas by hul spesifieke behoeftes. Die koste, beide finansieel en tegnies, verbonde aan die opleiding van ’n pasgemaakte LLM kan ook onbetaalbaar wees vir baie organisasies. Verder benodig hierdie modelle, met hul miljarde parameters, aansienlike hardewarehulpbronne en kan dit sukkel om ho¨evolume, vinnige interaksies te bestuur wat tipies is in ’n kli¨entediensomgewing. Boonop kan hierdie modelle, as gevolg van hul algemene doeleinde aard, soms onvoorspelbare of ongewenste response lewer aangesien hulle nie spesifieke domeinkennis het nie. Ons voorgestelde model, ontwikkel op die meer hanteerbare GPT-2, bied ’n pasgemaakte, koste-effektiewe en aanpasbare oplossing vir hierdie uitdagings. Alhoewel ons navorsing beperk is in sy omvang, dui die bevindinge op ’n verbetering in die bruikbaarheid en doeltreffendheid van kletsbotte wat met ons voorgestelde metode opgelei is. Hierdie studie dra by tot die bre¨er veld van KI-gedrewe kli¨entediens deur die ontwikkeling van meer gesofistikeerde en gebruikersvriendelike kletsbot-stelsels aan te vul.
Description
Thesis (MEng)--Stellenbosch University, 2024.