[Webots 机器人] Q-Learning 自主导航：648 离散状态空间划分与 TCP Socket IPC 架构设计 (#1)
· 阅读需 5 分钟
📌 核心要点 (Key Takeaways)
- 问题痛点：连续传感器数值（距离、朝向角）会导致表格型强化学习遭遇维数灾难（State-Space Explosion），同时 Python 强化学习智能体与 Webots 仿真内核之间需要维持微秒级、低延迟的物理同步。
- 解决方案：设计了基于几何学空间划分的 5 维连续传感器量化器（
discretizer.py），生成 3 × 8 × 3 × 3 × 3 = 648 维离散状态；搭建了基于 TCP 5000 端口的极轻量级行分隔 JSON 套接字通信流水线。- 落地成效：实现了 O(1) 复杂度的超高速 Q-Table 寻址更新，确保了仿真器与 Python 端 32ms 物理仿真步长的严格无阻塞同步。