udpate errata

docs/errata.md

@@ -43,6 +43,9 @@ pip install gym==0.25.2
 ![](res/4-19.png ':size=550')
 
 * 127页，5.1节的标题：从同策略到异策略 → 重要性采样
+* 133页，5.2节第二段的第1行到第3行：注意，由于在 PPO 中 $\theta'$ 是 $\theta_{\text{old}}$，即行为策略也是 $\pi_{\theta}$，因此 PPO 是同策略的算法。如式(5.15) 所示，PPO 实际上做的事情就是这样，在异策略的方法里优化目标函数 $J^{\theta^{\prime}}(\theta)$。→  如式(5.15)所示，PPO 需要优化目标函数 $J^{\theta^{\prime}}(\theta)$。
+* 133页，5.2节第二段的倒数第1行加入以下内容：**注意，虽然 PPO 的优化目标涉及到了重要性采样，但其只用到了上一轮策略 $\theta^{\prime}$ 的数据。PPO 目标函数中加入了 KL 散度的约束，行为策略 $\theta^{\prime}$  和目标策略 $\theta$ 非常接近，PPO 的行为策略和目标策略可认为是同一个策略，因此 PPO 是同策略算法。**
+
 * 134页，式(5.16)下面一段第2行：最大化式 (5.16) → 最大化式 (5.15)
 * 165页，第一段的第4行到第5行：归一化的向量为 $[3,-1,2]^{\mathrm{T}}$ → 归一化的向量为 $[3,-1,-2]^{\mathrm{T}}$ 
 * 165页，第二段的第1行：向量 $[3,-1,2]^{\mathrm{T}}$ 中的每个元素 → 向量 $[3,-1,-2]^{\mathrm{T}}$ 中的每个元素