From a75e5b66a9c4ca82df727d0448804d521309645c Mon Sep 17 00:00:00 2001 From: qiwang067 Date: Sat, 28 Jan 2023 22:59:53 +0800 Subject: [PATCH] update errata --- docs/errata.md | 21 ++++++++++----------- 1 file changed, 10 insertions(+), 11 deletions(-) diff --git a/docs/errata.md b/docs/errata.md index 57df5f5..4fd17a7 100644 --- a/docs/errata.md +++ b/docs/errata.md @@ -4,17 +4,6 @@ ## 第1版第5次印刷（2023.01） -前勒口作者简介： - -* 王琦： - * 曾获中国大学生计算机设计大赛二等奖 → 曾获“中国光谷·华为杯”第十九届中国研究生数学建模竞赛二等奖、中国大学生计算机设计大赛二等奖 -* 133页，5.2节第二段的第1行到第3行：注意，由于在 PPO 中 $\theta'$ 是 $\theta_{\text{old}}$，即行为策略也是 $\pi_{\theta}$，因此 PPO 是同策略的算法。如式(5.15) 所示，PPO 实际上做的事情就是这样，在异策略的方法里优化目标函数 $J^{\theta^{\prime}}(\theta)$。→ 如式(5.15)所示，PPO 需要优化目标函数 $J^{\theta^{\prime}}(\theta)$。 -* 133页，5.2节第二段的倒数第1行加入以下内容：**注意，虽然 PPO 的优化目标涉及到了重要性采样，但其只用到了上一轮策略 $\theta^{\prime}$ 的数据。PPO 目标函数中加入了 KL 散度的约束，行为策略 $\theta^{\prime}$ 和目标策略 $\theta$ 非常接近，PPO 的行为策略和目标策略可认为是同一个策略，因此 PPO 是同策略算法。** - -## 第1版第4次印刷（2022.11） - -## 第1版第3次印刷（2022.07） - * 前勒口作者简介： * 王琦： * 中国科学院大学硕士在读 → 中国科学院大学硕士 @@ -55,6 +44,10 @@ pip install gym==0.25.2 ![](res/4-19.png ':size=550') * 127页，5.1节的标题：从同策略到异策略 → 重要性采样 + +* 133页，5.2节第二段的第1行到第3行：注意，由于在 PPO 中 $\theta'$ 是 $\theta_{\text{old}}$，即行为策略也是 $\pi_{\theta}$，因此 PPO 是同策略的算法。如式(5.15) 所示，PPO 实际上做的事情就是这样，在异策略的方法里优化目标函数 $J^{\theta^{\prime}}(\theta)$。→ 如式(5.15)所示，PPO 需要优化目标函数 $J^{\theta^{\prime}}(\theta)$。 +* 133页，5.2节第二段的倒数第1行加入以下内容：**注意，虽然 PPO 的优化目标涉及到了重要性采样，但其只用到了上一轮策略 $\theta^{\prime}$ 的数据。PPO 目标函数中加入了 KL 散度的约束，行为策略 $\theta^{\prime}$ 和目标策略 $\theta$ 非常接近，PPO 的行为策略和目标策略可认为是同一个策略，因此 PPO 是同策略算法。** + * 134页，式(5.16)下面一段第2行：最大化式 (5.16) → 最大化式 (5.15) * 165页，第一段的第4行到第5行：归一化的向量为 $[3,-1,2]^{\mathrm{T}}$ → 归一化的向量为 $[3,-1,-2]^{\mathrm{T}}$ * 165页，第二段的第1行：向量 $[3,-1,2]^{\mathrm{T}}$ 中的每个元素 → 向量 $[3,-1,-2]^{\mathrm{T}}$ 中的每个元素 @@ -62,6 +55,12 @@ pip install gym==0.25.2 ![](res/9-4.png ':size=550') + + +## 第1版第4次印刷（2022.11） + +## 第1版第3次印刷（2022.07） + ## 第1版第2次印刷（2022.06） * 1页，图1.1删除参考文献：SUTTON R S, BARTO A G. Reinforcement learning: An introduction (second edition)[M]. London: The MIT Press, 2018