Aplicação de LLMs open-weight na automação de testes web: estudo comparativo utilizando Python e Selenium

Abstract

A automação de testes de software contribui para reduzir custos, ampliar a cobertura dos testes e aumentar a confiabilidade no desenvolvimento de sistemas. Nesse contexto, modelos de linguagem de grande porte (Large Language Models - LLMs) têm sido explorados como apoio à geração de scripts de testes automatizados. Entretanto, o custo de modelos comerciais pode limitar sua adoção, especialmente por equipes e organizações com recursos restritos, tornando os modelos open-weight uma alternativa relevante. Este trabalho teve como objetivo comparar a eficácia de quatro modelos LLM open-weight na geração de testes automatizados para um ambiente e-commerce, utilizando Python, Selenium e Pytest. Foram avaliados os modelos GPT-OSS 120B, Gemma 4 26B, Llama 3.3 70B e Qwen3 Coder 480B. A análise considerou métricas de taxa de sucesso de execução (PASSRATE), cobertura dos requisitos, qualidade estática do código por meio do Score Pylint, complexidade ciclomática e categorias de defeitos identificadas. Os resultados permitiram observar diferenças entre os modelos quanto à capacidade de gerar scripts executáveis, aderentes aos requisitos e com qualidade estrutural adequada. A pesquisa contribui ao apresentar uma avaliação comparativa de modelos LLM open-weight aplicados à automação de testes, fornecendo subsídios para sua adoção em contextos de qualidade de software com recursos limitados.