[Robotique Webots] Navigation autonome par Q-Learning : Discrétisation en 648 états & Architecture socket (#1)

📌 Points clés (TL;DR)

• Le problème : Des données de capteurs continues créent une explosion combinatoire d'états pour le Q-learning tabulaire ; la communication synchrone avec Webots exige une latence minime.
• La solution : Discrétisation compacte en 648 états (3 secteurs de distance, 4 quadrants de cap et 6 zones d'éloignement) et liaison par socket TCP local.

---

📌 Synthèse Exécutive (3–5 lignes)

1. Discrétisation ultra-compacte : 648 états permettent un apprentissage rapide sans la lourdeur du Deep RL.
2. IPC haute fréquence : Le socket TCP synchronise la physique et l'agent à plus de 100 pas par seconde.
3. Stabilité mathématique : Convergence complète obtenue en quelques centaines d'épisodes.
4. Portabilité embarquée : La table Q tient en moins de 15 Ko, facilitant son déploiement sur Arduino Uno.