diff --git a/docs/errata.md b/docs/errata.md index 2f85bbd..5ff6df0 100644 --- a/docs/errata.md +++ b/docs/errata.md @@ -43,6 +43,9 @@ pip install gym==0.25.2 ![](res/4-19.png ':size=550') * 127页,5.1节的标题:从同策略到异策略 → 重要性采样 +* 133页,5.2节第二段的第1行到第3行:注意,由于在 PPO 中 $\theta'$ 是 $\theta_{\text{old}}$,即行为策略也是 $\pi_{\theta}$,因此 PPO 是同策略的算法。如式(5.15) 所示,PPO 实际上做的事情就是这样,在异策略的方法里优化目标函数 $J^{\theta^{\prime}}(\theta)$。→ 如式(5.15)所示,PPO 需要优化目标函数 $J^{\theta^{\prime}}(\theta)$。 +* 133页,5.2节第二段的倒数第1行加入以下内容:**注意,虽然 PPO 的优化目标涉及到了重要性采样,但其只用到了上一轮策略 $\theta^{\prime}$ 的数据。PPO 目标函数中加入了 KL 散度的约束,行为策略 $\theta^{\prime}$ 和目标策略 $\theta$ 非常接近,PPO 的行为策略和目标策略可认为是同一个策略,因此 PPO 是同策略算法。** + * 134页,式(5.16)下面一段第2行:最大化式 (5.16) → 最大化式 (5.15) * 165页,第一段的第4行到第5行:归一化的向量为 $[3,-1,2]^{\mathrm{T}}$ → 归一化的向量为 $[3,-1,-2]^{\mathrm{T}}$ * 165页,第二段的第1行:向量 $[3,-1,2]^{\mathrm{T}}$ 中的每个元素 → 向量 $[3,-1,-2]^{\mathrm{T}}$ 中的每个元素