Chatbots textuais no apoio administrativo para alunos universitários: comparação entre uso de palavras-chave e modelos de linguagem de grande escala

Abstract

A burocracia nos processos administrativos das instituições de ensino superior representa um desafio para os estudantes, especialmente em contextos com comunicação pouco acessível e protocolos institucionais complexos. Nesse cenário, chatbots surgem como ferramentas promissoras para automatizar o atendimento e facilitar o acesso às informações acadêmicas. Este trabalho apresenta uma análise comparativa entre dois chatbots desenvolvidos para auxiliar alunos de uma unidade da Universidade Federal Rural de Pernambuco (UFRPE) em dúvidas relacionadas ao cotidiano universitário: um baseado em palavras-chave e outro fundamentado em um modelo de linguagem de grande escala (LLM, do inglês Large Language Models), com uso da técnica de Geração Aumentada por Recuperação (RAG, do inglês Retrieval-Augmented Generation). Após a implementação, foi realizado um experimento com 15 estudantes, os quais interagiram com ambos os sistemas e avaliaram aspectos como precisão, clareza e utilidade, além de indicarem qual chatbot prefeririam utilizar no dia a dia. As respostas foram tratadas estatisticamente por meio do teste não paramétrico de Wilcoxon, o qual revelou que, embora não tenha havido diferenças estatisticamente significativas entre os dois sistemas nos critérios avaliados, a maioria dos participantes (9) demonstraram preferência pelo chatbot com RAG, enquanto 3 escolheram o baseado em palavras-chave e 3 apontaram utilidade em ambos. Os resultados indicam que, apesar de desempenhos similares em métricas objetivas, as características subjetivas como: linguagem mais fluida, maior naturalidade das respostas e melhor compreensão de perguntas mal formuladas podem ter influenciado a escolha dos usuários para o chatbot baseado em inteligência artificial, ratificando o potencial do uso de RAG em assistentes virtuais voltados ao contexto educacional.