Análise comparativa de técnicas de engenharia de prompt aplicadas a tarefas de recomendação via LLMs

Abstract

Sistemas de recomendação são produzidos para sugerir itens a serem consumidos por usuários clientes de uma determinada plataforma digital, seja em e-commerce ou em aplicativos de streaming de conteúdo, tendo o intuito de se adequar cada vez mais às preferências dos usuários-alvos, buscando um teor de personalização que contribua para o sucesso da plataforma. As abordagens mais utilizadas atualmente se apresentam numa combinação de técnicas tradicionais de recomendação com o poder dos LLMs para alavancar a qualidade e precisão das recomendações. Os LLMs são modelos que possuem altas capacidades de compreensão de linguagem e de inferência de linguagem natural e, desde a apresentação do modelo GPT-3, foi evidenciado que o resultado de tarefas executadas por modelos deste tipo podem ter sua qualidade alavancada ao estruturar as prompts de interação sob pretextos que melhor extraiam sua capacidade in-context-learning. Técnicas de engenharia de prompt como as zero-shot, onde se descreve a tarefa em linguagem natural, foram desde então integradas no funcionamento de sistemas de recomendação, e este trabalho analisa uma abordagem onde se usa o LLM como recomendador, propondo uma análise comparativa dos impactos de aplicar quatro variantes de estratégias representativas a técnicas de engenharia de prompt distintas, em substituição a uma estratégia definida como baseline de comparação. Experimentos são feitos para diferentes combinações entre três LLMs em duas bases de dados distintas, apresentando resultados experimentais variados dentre as combinações modelo-estratégia, encontrando ganhos de até 17.76% em taxa de acerto de recomendação entre diferentes combinações, com métricas que em parte mostram superação em taxa de acerto contra o baseline, e que, por outro lado, mostram o baseline mantendo superioridade na qualidade da recomendação gerada.