[Webots 機器人] Q-Learning 自主導航：648 離散狀態空間劃分與 TCP Socket IPC 架構設計 (#1)
· 閱讀時間約 5 分鐘
📌 核心要點 (Key Takeaways)
- 問題痛點：連續感測器讀數（距離、朝向角）會導致表格型強化學習遭遇維度災難（State-Space Explosion），同時 Python 強化學習代理與 Webots 模擬核心之間需要維持微秒級、低延遲的物理同步。
- 解決方案：設計了基於幾何學空間劃分的 5 維連續感測器量化器（
discretizer.py），產生 3 × 8 × 3 × 3 × 3 = 648 維離散狀態；搭建了基於 TCP 5000 連接埠的極輕量級行分隔 JSON 套接字通訊管線。- 落地成效：實作了 O(1) 複雜度的超高速 Q-Table 定址更新，確保了模擬器與 Python 端 32ms 物理模擬步長的一致無阻塞同步。