From c6d18bb571eb3068fcd72ae5483be9f59d8fce36 Mon Sep 17 00:00:00 2001 From: qiwang067 Date: Sat, 28 Jan 2023 22:21:24 +0800 Subject: [PATCH] update errata --- docs/errata.md | 15 ++++++++++++--- 1 file changed, 12 insertions(+), 3 deletions(-) diff --git a/docs/errata.md b/docs/errata.md index 5ff6df0..57df5f5 100644 --- a/docs/errata.md +++ b/docs/errata.md @@ -2,7 +2,19 @@ **如何使用勘误？首先找到你的书的印次，接下来对着下表索引印次，该印次之后所有的勘误都是你的书中所要注意的勘误，印次前的所有勘误在当印次和之后印次均已印刷修正。为方便读者，所有修订内容都列举在此。其中部分修订是为了更便于读者理解，并非原文有误。** +## 第1版第5次印刷（2023.01） + +前勒口作者简介： + +* 王琦： + * 曾获中国大学生计算机设计大赛二等奖 → 曾获“中国光谷·华为杯”第十九届中国研究生数学建模竞赛二等奖、中国大学生计算机设计大赛二等奖 +* 133页，5.2节第二段的第1行到第3行：注意，由于在 PPO 中 $\theta'$ 是 $\theta_{\text{old}}$，即行为策略也是 $\pi_{\theta}$，因此 PPO 是同策略的算法。如式(5.15) 所示，PPO 实际上做的事情就是这样，在异策略的方法里优化目标函数 $J^{\theta^{\prime}}(\theta)$。→ 如式(5.15)所示，PPO 需要优化目标函数 $J^{\theta^{\prime}}(\theta)$。 +* 133页，5.2节第二段的倒数第1行加入以下内容：**注意，虽然 PPO 的优化目标涉及到了重要性采样，但其只用到了上一轮策略 $\theta^{\prime}$ 的数据。PPO 目标函数中加入了 KL 散度的约束，行为策略 $\theta^{\prime}$ 和目标策略 $\theta$ 非常接近，PPO 的行为策略和目标策略可认为是同一个策略，因此 PPO 是同策略算法。** + +## 第1版第4次印刷（2022.11） + ## 第1版第3次印刷（2022.07） + * 前勒口作者简介： * 王琦： * 中国科学院大学硕士在读 → 中国科学院大学硕士 @@ -43,9 +55,6 @@ pip install gym==0.25.2 ![](res/4-19.png ':size=550') * 127页，5.1节的标题：从同策略到异策略 → 重要性采样 -* 133页，5.2节第二段的第1行到第3行：注意，由于在 PPO 中 $\theta'$ 是 $\theta_{\text{old}}$，即行为策略也是 $\pi_{\theta}$，因此 PPO 是同策略的算法。如式(5.15) 所示，PPO 实际上做的事情就是这样，在异策略的方法里优化目标函数 $J^{\theta^{\prime}}(\theta)$。→ 如式(5.15)所示，PPO 需要优化目标函数 $J^{\theta^{\prime}}(\theta)$。 -* 133页，5.2节第二段的倒数第1行加入以下内容：**注意，虽然 PPO 的优化目标涉及到了重要性采样，但其只用到了上一轮策略 $\theta^{\prime}$ 的数据。PPO 目标函数中加入了 KL 散度的约束，行为策略 $\theta^{\prime}$ 和目标策略 $\theta$ 非常接近，PPO 的行为策略和目标策略可认为是同一个策略，因此 PPO 是同策略算法。** - * 134页，式(5.16)下面一段第2行：最大化式 (5.16) → 最大化式 (5.15) * 165页，第一段的第4行到第5行：归一化的向量为 $[3,-1,2]^{\mathrm{T}}$ → 归一化的向量为 $[3,-1,-2]^{\mathrm{T}}$ * 165页，第二段的第1行：向量 $[3,-1,2]^{\mathrm{T}}$ 中的每个元素 → 向量 $[3,-1,-2]^{\mathrm{T}}$ 中的每个元素