Navegando por Assunto "Markov, Processos de"

Agora exibindo 1 - 2 de 2

Teacher-Student aplicado a diferentes modelos de recompensa do ambiente Lunar Lander
(2021-07-20) Silva, Kenedy Felipe dos Santos da; Sampaio, Pablo Azevedo; http://lattes.cnpq.br/8865836949700771; http://lattes.cnpq.br/7479192156880225
As técnicas estudadas relacionadas à aprendizagem por reforço estão se tornando cada vez mais comuns em desafios do mundo real, porém um desafio é reduzir o tempo de aprendizado. Atualmente o tempo de aprendizado e/ou quantidade de interações realizadas pelo agente de aprendizagem por reforço podem resultar em altos custos nas aplicações, pois o treinamento dos modelos podem consumir bastante tempo, exigindo muitas interações do agente com o ambiente da tarefa. Este trabalho busca melhorar o aprendizado utilizando uma nova combinação de técnicas, a técnica Teacher-Student (Aluno-Professor) com a Reward Shaping (modelagem de recompensas). A técnica Teacher-Student visa escolher dentre um conjunto de tarefas similares que treinam para uma tarefa principal, de acordo com o aprendizado do aluno. A técnica Reward Shaping, altera a recompensa para tentar acelerar o aprendizado, fornece feedbacks mais frequentes sobre os comportamentos apropriados, ou seja, reporta recompensas com mais frequência. Adaptamos algoritmos de Teacher-Student para essa combinação de técnicas, e usamos o ambiente Lunar Lander como estudo de caso, usando quatro modelos de recompensa elaborados em (ALBUQUERQUE, 2021) para este ambiente. Foram realizados experimentos executando diferentes treinamentos para comparar essa abordagem com o treinamento apenas no Lunar Lander original (sem alteração das recompensas), e com os resultados obtidos em (ALBUQUERQUE, 2021) ao adotar cada um dos modelos de recompensas individualmente. A combinação das técnicas Teacher-Student com Reward Shaping contribuíram para uma nova experiência na área de aprendizagem por reforço, conseguindo acelerar o aprendizado do agente, considerando a duração de 600 mil passos de treinamento, atingindo o desempenho alvo em 2 de 5 propostas, além de conseguir aprender melhor que a abordagem original do Lunar Lander com algoritmo PPO.
Um currículo de aprendizado por reforço para o cenário “Run to Score with Keeper” do Google Research Football Environment
(2019-12-10) Silva, Jonatan Washington Pereira da; Sampaio, Pablo Azevedo; Macário Filho, Valmir; http://lattes.cnpq.br/4346898674852080; http://lattes.cnpq.br/8865836949700771; http://lattes.cnpq.br/6846637095187550
O aprendizado por reforço é um conjunto de técnicas que permitem a um agente interagir com um determinado ambiente. Os agentes observam o estado do ambiente e executam uma ação, a ação é avaliada por meio de uma recompensa obtida. O agente tem como objetivo maximizar esta recompensa. Diversas questões como: locomoção em três dimensões e jogos eletrônicos foram abordados pelo aprendizado por reforço (KURACH et al., 2019). O treinamento de agentes para um jogo de futebol normalmente possui recompensas esparsas, o que retarda o aprendizado (MATIISEN et al., 2019). Uma técnica que pode contornar este obstaculo é o aprendizado por currículo proposto em (BENGIO et al., 2009). O aprendizado por currículo é uma técnica que aborda sub-tarefas mais simples da tarefa principal e aumenta gradativamente o nível de dificuldade ao longo do tempo. Neste trabalho apresentamos dois currículos, identificados como: 5-15-30-50 e 3-10-20-67, para o cenário Run to Score with Keeper da Football Academy. Mostramos que os currículos, em média, obtiveram melhores resultados se comparados ao treinamento apenas no cenário principal, sem currículo. O currículo 3-10-20-67 obteve um melhor resultado mesmo considerando o desvio padrão.