📌 Points clés (TL;DR)
- Le problème : Contraintes sévères sur microcontrôleur (Arduino Uno avec 2 Ko de SRAM), glissement des roues et Reality Gap entre simulateur et monde réel.
- La solution : Calcul de pose par vision externe au plafond (ArUco 6-DoF à 60 FPS) et transmission des commandes moteur en Bluetooth série HC-06.
📌 Points clés (TL;DR)
- L'objectif : Mesurer les performances réelles de la politique optimale ($\epsilon=0$) sans bruit stochastique afin de valider son déploiement en conditions réelles.
- Le résultat : Le Q-learning tabulaire atteint 92 % de succès tout en étant 15 fois plus léger en calcul que Deep Q-Networks (DQN).
📌 Points clés (TL;DR)
- Le problème : Quand la cible se trouve derrière un mur, la seule récompense de proximité attire le robot dans une impasse frontale : un minimum local.
- La solution : Champ de répulsion d'obstacle prioritaire et accélération par simulation headless sans rendu graphique.
📌 Points clés (TL;DR)
- Le problème : Des récompenses trop éparses (+1 à la cible, -1 en collision) provoquent une errance stérile du robot pendant des milliers d'épisodes.
- La solution : Façonnement de récompense dense par variation de distance géométrique ($\Delta d$) et pénalisation des rotations sur place.
📌 Points clés (TL;DR)
- Le problème : Des données de capteurs continues créent une explosion combinatoire d'états pour le Q-learning tabulaire ; la communication synchrone avec Webots exige une latence minime.
- La solution : Discrétisation compacte en 648 états (3 secteurs de distance, 4 quadrants de cap et 6 zones d'éloignement) et liaison par socket TCP local.