Testes automatizados de acessibilidade com LLMS: uma análise de estratégias de prompt em portais governamentais

Abstract

A utilização de Modelos de Linguagem de Grande Escala (LLMs) tem aumentado as possibilidades de aplicação da Inteligência Artificial em diferentes atividades da Engenharia de Software, incluindo a geração automatizada de artefatos de teste. Nesse contexto, este trabalho apresenta um estudo comparativo sobre a influência da Engenharia de Prompt na geração de scripts de teste automatizados de acessibilidade para plataformas web do Governo de Pernambuco. A pesquisa teve como objetivo avaliar a capacidade do modelo Gemini 3 Flash (Tier Pago) em elaborar scripts automatizados referentes a cenários reais de teste, considerando funcionalidades de acessibilidade presentes no Portal da Transparência de Pernambuco e no Portal do Governo de Pernambuco. Inicialmente, foram elaborados scripts manuais de referência utilizando Cypress, JavaScript, Cucumber, Gherkin e o padrão Page Object Model. Em seguida, foram desenvolvidas e refinadas estratégias de Engenharia de Prompt para a geração automática dos scripts pela LLM. Os artefatos produzidos foram analisados com base em critérios relacionados à legibilidade, facilidade de manutenção, quantidade de ajustes manuais necessários, utilização de seletores corretos, validação das funcionalidades de acessibilidade e tempo de execução. Os resultados demonstraram queo refinamento dos prompts contribuiu para a melhoria da qualidade dos scripts gerados, especialmente em aspectos relacionados à organização do código, utilização de seletores mais adequados e aderência aos fluxos de teste definidos. Entretanto, foi possível observar que os scripts gerados demandaram intervenções humanas para correções de lógica, ajustes de configuração e adequação de validações específicas do contexto analisado. A Engenharia de Prompt possui potencial para apoiar atividades de automação de testes, reduzindo parte do esforço de implementação, mas não elimina a necessidade da atuação de profissionais de QA na validação e adaptação dos artefatos produzidos.