Análise de mensagens de Commit com IA: uma nova perspectiva para o algoritmo SZZ

Abstract

Este trabalho propõe uma abordagem inovadora para aprimorar o algoritmo SZZ utilizado na identificação de commits que introduzem defeitos em sistemas de software. A metodologia proposta envolve o uso do ChatGPT, para realizar uma análise semântica das mensagens de commit, classificando-as em duas categorias: ”introduz bug”e ”não introduz bug”. O objetivo é melhorar a confiabilidade das classificações geradas pelo SZZ, reduzindo falsos positivos e melhorando a qualidade dos dados utilizados para a geração de modelos preditivos de detecção de defeitos. Para validar a abordagem, foram realizados experimentos com duas bases de dados (Neutron e Nova), utilizando os classificadores Random Forest e SVC, além de técnicas de balanceamento como oversampling e undersampling. Os resultados demonstram que a integração do ChatGPT ao SZZ resultou em uma redução significativa de commits erroneamente classificados como introdução de bugs, além de melhorar o desempenho dos classificadores, especialmente o Random Forest. Conclui-se que a utilização de LLMs pode aprimorar a eficácia do SZZ, contribuindo para a melhoria da qualidade de software e a eficiência na detecção de defeitos.