[Webots Robotik] Deterministische Evaluation via evaluate_qlearning & Benchmark gegen DQN und SARSA (#4)
· Eine Minute Lesezeit
📌 Kernaussagen (TL;DR)
- Ziel: Messung der reinen, deterministischen Leistungsfähigkeit der gelernten Greedy-Policy ($\epsilon = 0$) ohne stochastisches Rauschen zur Validierung der Praxistauglichkeit.
- Ergebnis: Tabellarisches Q-Learning erreicht 92 % Erfolgsquote bei 15-fach geringerem Rechenaufwand im Vergleich zu Deep Q-Networks (DQN).
1. Der Algorithmen-Benchmark im Vergleich
| Algorithmus | Erfolgsquote (%) | Ø Schritte zum Ziel | Near-Miss-Ereignisse | Speicherbedarf |
|---|---|---|---|---|
| Tabular Q-Learning (Unser) | 92.0 % | 48.2 | 1.2 | < 15 KB |
| SARSA (On-Policy) | 84.0 % | 56.4 | 0.8 | < 15 KB |
| Deep Q-Network (DQN) | 88.5 % | 52.1 | 2.1 | ~ 12 MB (PyTorch) |
Tabellarisches Q-Learning erweist sich für strukturierte Navigationsaufgaben als extrem energieeffizient und robust gegenüber Überanpassung.
📌 Management Summary (3–5 Zeilen)
- Deterministischer Test ($\epsilon=0$): Belegt die Stabilität der Policy ohne Zufallsentscheidungen.
- Kompaktheit gewinnt: < 15 KB Speicherbedarf macht tabellarisches Q-Learning ideal für Mikrocontroller.
- Geringe Latenz: Sub-Millisekunden-Reaktionszeiten verhindern Kollisionen bei höheren Fahrgeschwindigkeiten.
- Bereit für Hardware: Die deterministische Policy erfüllt alle Kriterien für den physischen Transfer.