Small language models for augmentative and alternative communication

Abstract

A Comunicação Aumentativa e Alternativa (CAA) é fundamental para milhões de pessoas com necessidades complexas de comunicação. Ferramentas tradicionais de CAA enfrentam um trade-off entre expressividade e eficiência, enquanto soluções baseadas em Large Language Models (LLMs) exigem conectividade e levantam preocupações de privacidade. Este trabalho investiga a especialização de Small Language Models (SLMs) para geração de cartões de comunicação em português brasileiro, em que cada cartão é composto por uma frase curta, uma frase longa e um símbolo visual (emoji Unicode). Foi desenvolvido um pipeline de construção de dataset combinando curadoria manual, aumento sintético via GPT-4o-mini e integração com a base ARASAAC, resultando em aproximadamente 17.800 exemplos anotados. Uma contribuição central é o framework de classificação baseado na distinção entre vocabulário Core (gramatical) e Fringe (tópico), fundamentado na literatura clínica de CAA. Sete modelos de três famílias de SLMs (Qwen, Llama, Gemma) foram avaliados no conjunto de teste com configuração padronizada de PEFT/LoRA e quantização 4-bit, utilizando BLEU, ROUGE e similaridade semântica sobre a string completa gerada em comparação com a referência do dataset. Os resultados indicam que o Qwen3-1.7B apresenta o melhor equilíbrio entre qualidade (BLEU: 0.1453, ROUGE-L F1: 0.3142, similaridade semântica: 0.77) e eficiência, viabilizando inferência local em GPUs de médio-alto desempenho com VRAM de 12GB. Foi também desenvolvida uma infraestrutura de avaliação com usuários reais, cujo piloto está planejado como próxima fase da pesquisa. Os resultados indicam a viabilidade de assistentes de CAA privados e offline baseados em SLMs especializados.