📌 Kernaussagen (TL;DR)
- Ziel: Messung der reinen, deterministischen Leistungsfähigkeit der gelernten Greedy-Policy ($\epsilon = 0$) ohne stochastisches Rauschen zur Validierung der Praxistauglichkeit.
- Ergebnis: Tabellarisches Q-Learning erreicht 92 % Erfolgsquote bei 15-fach geringerem Rechenaufwand im Vergleich zu Deep Q-Networks (DQN).
📌 Kernaussagen (TL;DR)
- Herausforderung: Liegt das Ziel direkt hinter einer Wand, zieht die Distanz-Belohnung den Roboter frontal in das Hindernis — er verfängt sich in einem lokalen Minimum.
- Lösung: Temporäre Hindernis-Repulsion in der Belohnungsfunktion und automatisierte Headless-Simulationen mit verschiedenen Zufalls-Seeds.
📌 Kernaussagen (TL;DR)
- Herausforderung: Spärliche Belohnungen (+1,0 bei Zielerreichung, -1,0 bei Kollision) führen zu massiver Explorationsträgheit; der Roboter dreht sich ziellos im Kreis.
- Lösung: Dichtes Reward-Shaping mit Distanz-Delta ($\Delta d$) und Geschwindigkeitsanreizen sowie exponentieller $\epsilon$-Zerfall ($0.95 ightarrow 0.05$).
📌 Kernaussagen (TL;DR)
- Herausforderung: Kontinuierliche Sensordaten (Distanz und Kurswinkel) führen bei tabellarischem Q-Learning zu einer Zustandsexplosion; synchrone IPC mit dem Webots-Simulator erfordert minimale Latenzen.
- Lösung: Reduktion auf 648 diskrete Zustände über 3 Distanzsektoren und 4 Orientierungsbereiche sowie ein robuster TCP-Socket-Server in Python.