5 publicações com a etiqueta "reinforcement-learning"

📌 Resumo dos Pontos Principais (TL;DR)

• Desafio: Limitações severas de hardware (Arduino Uno com apenas 2 KB de SRAM), deslizamento não linear das rodas e o clássico abismo da realidade (Reality Gap) entre simulação e ambiente físico.
• Solução: Desacoplamento da visão computacional para um PC Host através de câmera superior com homografia e transmissão sem fio de comandos compactos via Bluetooth HC-06.

📌 Resumo dos Pontos Principais (TL;DR)

• Objetivo: Medir a capacidade pura da política gulosa aprendida (Greedy Policy, $\epsilon = 0$) sem exploração estocástica, validando a viabilidade de implantação no mundo real.
• Resultado: O Q-Learning tabular atingiu 92% de taxa de sucesso com demanda computacional 15 vezes menor em comparação com Deep Q-Networks (DQN).

📌 Resumo dos Pontos Principais (TL;DR)

• Desafio: Quando o alvo está situado logo atrás de uma parede, a recompensa por proximidade puxa o robô diretamente contra o obstáculo, prendendo-o em um mínimo local.
• Solução: Repulsão dinâmica por proximidade na função de recompensa e aceleração do treinamento via simulação headless com 10 sementes aleatórias.

📌 Resumo dos Pontos Principais (TL;DR)

• Desafio: Recompensas esparsas (+1,0 ao atingir a meta, -1,0 em colisão) resultam em estagnação do aprendizado; o robô gira em círculos sem direção.
• Solução: Modelagem de recompensa densa (Reward Shaping) utilizando delta de distância ($\Delta d$) e bônus de velocidade para a frente, combinada com decaimento exponencial de $\epsilon$ ($0.95 \rightarrow 0.05$).

📌 Resumo dos Pontos Principais (TL;DR)

• Desafio: Dados contínuos de sensores (distância e ângulo para a meta) causam explosão do espaço de estados no Q-Learning tabular; a comunicação IPC síncrona com o simulador Webots exige latência mínima.
• Solução: Redução para 648 estados discretos distribuídos em 3 setores de distância e 4 zonas de orientação, operados por um servidor socket TCP em Python de alto desempenho.