fix some errors

This commit is contained in:
qiwang067
2020-07-19 14:19:59 +08:00
parent 1eccaf4cbe
commit 12fd207331
2 changed files with 3 additions and 3 deletions

View File

@@ -434,7 +434,7 @@ print(envs_ids)
### MountainCar-v0 Example ### MountainCar-v0 Example
接下来,我们通过一个例子来学习如何与 Gym 库进行交互。我们选取 `小车上山(MountainCar-v0)` 接下来,我们通过一个例子来学习如何与 Gym 库进行交互。我们选取 `小车上山(MountainCar-v0)`作为例子
首先我们来看看这个任务的观测空间和动作空间: 首先我们来看看这个任务的观测空间和动作空间:

View File

@@ -221,7 +221,7 @@ $$
下面我讲一下 on-policy 和 off-policy 的区别。 下面我讲一下 on-policy 和 off-policy 的区别。
Sarsa 就是一个典型的 on-policy 策略,它只用一个 $\pi$ 为了兼顾探索和利用所以它训练的时候会显得有一点点胆小怕事。它在解决悬崖问题的时候会尽可能地离悬崖边上远远的确保说哪怕自己不小心探索了一点了也还是在安全区域内不不至于跳进悬崖。Q-leanring 是一个比较典型的 off-policy 的策略,它有目标策略 target policy一般用 $\pi$ 来表示。然后还有行为策略 behavior policy用 $\mu$ 来表示。它分离了目标策略跟行为策略。Q-learning 就可以大胆的用 behavior policy 去探索得到的经验轨迹来去优化我的目标策略。这样子我更有可能去探索到最优的策略。 Sarsa 就是一个典型的 on-policy 策略,它只用一个 $\pi$ 为了兼顾探索和利用所以它训练的时候会显得有一点点胆小怕事。它在解决悬崖问题的时候会尽可能地离悬崖边上远远的确保说哪怕自己不小心探索了一点了也还是在安全区域内不不至于跳进悬崖。Q-learning 是一个比较典型的 off-policy 的策略,它有目标策略 target policy一般用 $\pi$ 来表示。然后还有行为策略 behavior policy用 $\mu$ 来表示。它分离了目标策略跟行为策略。Q-learning 就可以大胆的用 behavior policy 去探索得到的经验轨迹来去优化我的目标策略。这样子我更有可能去探索到最优的策略。
![](img/2.21.png) ![](img/2.21.png)