📌 Resumo dos Pontos Principais (TL;DR)
- Desafio: Quando o alvo está situado logo atrás de uma parede, a recompensa por proximidade puxa o robô diretamente contra o obstáculo, prendendo-o em um mínimo local.
- Solução: Repulsão dinâmica por proximidade na função de recompensa e aceleração do treinamento via simulação headless com 10 sementes aleatórias.
📌 Resumo dos Pontos Principais (TL;DR)
- Desafio: Recompensas esparsas (+1,0 ao atingir a meta, -1,0 em colisão) resultam em estagnação do aprendizado; o robô gira em círculos sem direção.
- Solução: Modelagem de recompensa densa (Reward Shaping) utilizando delta de distância ($\Delta d$) e bônus de velocidade para a frente, combinada com decaimento exponencial de $\epsilon$ ($0.95 \rightarrow 0.05$).
📌 Resumo dos Pontos Principais (TL;DR)
- Desafio: Dados contínuos de sensores (distância e ângulo para a meta) causam explosão do espaço de estados no Q-Learning tabular; a comunicação IPC síncrona com o simulador Webots exige latência mínima.
- Solução: Redução para 648 estados discretos distribuídos em 3 setores de distância e 4 zonas de orientação, operados por um servidor socket TCP em Python de alto desempenho.