Análise comparativa de LLMs no desenho de arquiteturas de software: modelagem de diagramas e estruturas de diretórios para Spring Boot

Abstract

A adoção de Grandes Modelos de Linguagem (LLMs) na engenharia de software tem avançado rapidamente em tarefas de baixo nível, como a geração de código, mas seu uso em fases de alta abstração, como o design arquitetural, permanece pouco investigado empiricamente. Este trabalho apresenta um estudo empírico comparativo que avalia a capacidade de quatro modelos disponibilizados por diferentes provedores (GPT-5.5, Claude 4.8 Opus, Gemini 3.1 Pro e DeepSeek V4) na geração de artefatos arquiteturais tangíveis para o ecossistema Spring Boot. Adotando um paradigma de modelagem declarativa (PlantUML com notação C4 Model) e uma estratégia de Engenharia de Prompt baseada em definição de Persona, listas de restrições (Allowlist/Blocklist) e Chain-of-Thought, submeteu-se aos modelos o design de um sistema Encurtador de URLs com perfil read-heavy, em três execuções independentes por modelo. Os resultados indicam que Claude e Gemini produziram artefatos compiláveis nas três execuções, enquanto GPT-5.5 e DeepSeek apresentaram falhas sintáticas, com a principal fonte de variabilidade residindo na fidelidade sintática de baixo nível e na consistência arquitetural entre replicações, e não na compreensão do domínio. Conclui-se que, sob engenharia de prompt rigorosa, LLMs podem atuar como assistentes arquiteturais ("mesas de ressonância") úteis, embora ainda inaptos como decisores autônomos.