Fatores determinantes da desistência conversacional entre usuários e chatbots baseados em modelos de inteligência artificial
Carregando...
Data de Submissão
Data de Defesa
2026-03-27
Edição
Autores
Orientadores
Coorientadores
Editores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Descrição
A automação em cenários de atendimento tem se consolidado nos últimos anos, inicialmente com a adoção de chatbots baseados em regras ou fluxos pré-definidos. Mais recentemente, observa-se a evolução para chatbots fundamentados em modelos de linguagem de grande escala (LLMs) e técnicas de Inteligência Artificial Generativa, capazes de produzir respostas contextualmente relevantes e promover interações conversacionais mais naturais com os usuários. Apesar do potencial da tecnologia para aumentar a escalabilidade do atendimento, bem como geração de dados e analytics para monitoramento de taxas de sucesso de atendimento ou venda, ainda existe uma lacuna em compreender por que usuários se engajam mais ou menos em uma interação humano-máquina neste contexto. Partindo desta lacuna, a pesquisa adota o método Design Science Research (DSR) para o desenvolvimento de um artefato (o framework multidimensional e a sua instanciação tecnológica) destinado a avaliação dos determinantes da desistência da interação com chatbots, com foco no atendimento ao cliente. Métodos tradicionais de avaliação costumam se basear em pesquisas diretas com usuários, coletando percepções subjetivas sobre a experiência, ou em métricas quantitativas, como tempo de resposta e taxa de resolução. No entanto, essas abordagens não capturam adequadamente aspectos como clareza, confiança, engajamento e empatia durante a interação. Para suprir essa lacuna, este estudo propõe a análise de padrões comportamentais como um método complementar e mais direto para avaliar a experiência do usuário, com a extração, classificação e análise de conversas entre usuários e chatbots que utilizam modelos de IA conversacional. Foi utilizada a metodologia PRISMA para uma revisão sistemática da literatura para identificar os principais indicadores de desempenho dos chatbots, observando a desistência dos usuários na continuidade do atendimento como variável dependente, influenciada por três preditores principais. Como parte da abordagem de pesquisa, foram desenvolvidos dois artefatos baseados em um modelo de inteligência artificial generativa: o primeiro capaz de analisar conversas e classificá-las conforme variáveis comportamentais; e o segundo capaz de analisar os resultados quantitativos e propor melhorias operacionais. A análise estatística envolveu a comparação de cinco modelos estruturais concorrentes, buscando identificar a configuração de melhor ajuste dada a novidade do fenômeno em estudo. Os resultados obtidos, fundamentados na análise de 849 interações reais, sugerem a ocorrência do 'paradoxo da persistência': a rejeição da hipótese de performance indica que falhas técnicas isoladas tendem a não causar o abandono imediato, evidenciando que limitações de confiança, clareza, engajamento e empatia podem reter o usuário na interface por meio de um esforço cognitivo exaustivo de adaptação. Foram testados cinco modelos rivais através da Análise de Equações Estruturais com o objetivo de avaliar a melhor configuração de ajuste, dada a novidade do fenômeno. Com base nos resultados, o modelo 5, apresentado na Figura 17, demonstrou o melhor ajuste e interpretação dos resultados. [resumo fornecido pelo autor]
Resumo
Automation in customer service scenarios has consolidated in recent years, initially with the adoption of chatbots based on rules or predefined flows. More recently, there has been an evolution toward chatbots grounded in Large Language Models (LLMs) and Generative Artificial Intelligence techniques, capable of producing contextually relevant responses and promoting more natural conversational interactions with users. Despite the technology's potential to increase service scalability, as well as generate data and analytics for monitoring service or sales success rates, a gap remains in understanding why users engage more or less in a human-machine interaction within this context. Addressing this gap, this research adopts the Design Science Research (DSR) method for the development of an artifact (a multidimensional framework and its technological instantiation) intended to evaluate the determinants of chatbot interaction abandonment, focusing on customer service. Traditional evaluation methods are typically based on direct user surveys, collecting subjective perceptions of the experience, or on quantitative metrics, such as response time and resolution rates. However, these approaches do not adequately capture aspects such as clarity, trust, engagement, and empathy during the interaction. To fill this gap, this study proposes the analysis of behavioral patterns as a complementary and more direct method to evaluate user experience, through the extraction, classification, and analysis of conversations between users and chatbots utilizing conversational AI models. The PRISMA methodology was used for a systematic literature review to identify the main performance indicators of chatbots, observing user abandonment as the dependent variable, influenced by three main predictors. As part of the research approach, two artifacts based on a generative artificial intelligence model were developed: the first capable of analyzing conversations and classifying them according to behavioral variables; and the second capable of analyzing quantitative results and proposing operational improvements. Statistical analysis involved the comparison of five competing structural models, seeking to identify the best-fit configuration given the novelty of the phenomenon under study. The results obtained, based on the analysis of 849 real interactions, suggest the occurrence of the 'persistence paradox': the rejection of the performance hypothesis indicates that isolated technical failures tend not to cause immediate abandonment, evidencing that limitations in trust, clarity, engagement, and empathy may retain the user in the interface through an exhaustive cognitive effort of adaptation. Five rival models were tested through Structural Equation Modeling to evaluate the best fit configuration, given the novelty of the phenomenon. Based on the results, Model 5, presented in Figure 17, demonstrated the best fit and interpretation of the results. [resumo fornecido pelo autor]
Citação
Cruz, Walter Sengik da