Small language models for augmentative and alternative communication
Data
2026-02-03
Autores
Lattes da Autoria
Orientação Docente
Lattes da Orientação Docente
Título da Revista
ISSN da Revista
Título de Volume
Editor
Resumo
A Comunicação Aumentativa e Alternativa (CAA) é fundamental para milhões de pessoas com necessidades complexas de comunicação. Ferramentas tradicionais de CAA enfrentam um trade-off entre expressividade e eficiência, enquanto soluções baseadas em Large Language Models (LLMs) exigem conectividade e levantam preocupações de privacidade. Este trabalho investiga a especialização de Small Language Models (SLMs) para geração de cartões de comunicação em português brasileiro, em que cada cartão é composto por uma frase curta, uma frase longa e um símbolo visual (emoji Unicode). Foi desenvolvido um pipeline de construção de dataset combinando curadoria manual, aumento sintético via GPT-4o-mini e integração com a base ARASAAC, resultando em aproximadamente 17.800 exemplos anotados. Uma contribuição central é o framework de classificação baseado na distinção entre vocabulário Core (gramatical) e Fringe (tópico), fundamentado na literatura clínica de CAA. Sete modelos de três famílias de SLMs (Qwen, Llama, Gemma) foram avaliados no conjunto de teste com configuração padronizada de PEFT/LoRA e quantização 4-bit, utilizando BLEU, ROUGE e similaridade semântica sobre a string completa gerada em comparação com a referência do dataset. Os resultados indicam que o Qwen3-1.7B apresenta o melhor equilíbrio entre qualidade (BLEU: 0.1453, ROUGE-L F1: 0.3142, similaridade semântica: 0.77) e eficiência, viabilizando inferência local em GPUs de médio-alto desempenho com VRAM de 12GB. Foi também desenvolvida uma infraestrutura de avaliação com usuários reais, cujo piloto está planejado como próxima fase da pesquisa. Os resultados indicam a viabilidade de assistentes de CAA privados e offline baseados em SLMs especializados.
Resumo em outro idioma
Augmentative and Alternative Communication (AAC) is essential for millions of individuals with complex communication needs. Traditional AAC tools face a trade-off between expressivity and efficiency, while Large Language Model-based solutions require connectivity and raise privacy concerns. This work investigates the specialization of Small Language Models (SLMs) for communication card generation in Brazilian Portuguese, where each card is represented by a short phrase, a long phrase, and a visual symbol (Unicode emoji). We developed a dataset construction pipeline combining manual curation, synthetic augmentation via GPT-4o-mini, and ARASAAC integration, resulting in approximately 17,800 annotated examples. A central contribution is the classification framework based on the distinction between Core (grammatical) and Fringe (topical) vocabulary, grounded in clinical AAC literature. Seven models from three SLM families (Qwen, Llama, Gemma) were evaluated on the test set with standardized PEFT/LoRA configuration and 4-bit quantization, using BLEU, ROUGE, and semantic similarity computed over the full generated string compared to the dataset reference. Results demonstrate that Qwen3-1.7B achieves the best balance between quality (BLEU: 0.1453, ROUGE-L F1: 0.3142, semantic similarity: 0.77) and efficiency, enabling local inference on mid-to-high performance GPUs with 12GB VRAM. A user evaluation infrastructure was also developed, with a pilot study planned as the next research phase. Findings indicate the viability of privacy-preserving, offline AAC assistants based on specialized SLMs.
Descrição
Referência
SILVA, Lenon Anthony de Souza da. Small language models for augmentative and alternative communication. 2026. 58 f. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Departamento de Computação, Universidade Federal Rural de Pernambuco, Recife, 2026.
Identificador dARK
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como openAccess