From d068c0306152d5c2852c46ee05cfa9d9f401837f Mon Sep 17 00:00:00 2001 From: qiwang067 Date: Fri, 6 May 2022 23:35:11 +0800 Subject: [PATCH] update errata --- docs/errata.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/errata.md b/docs/errata.md index 9978c88..b48b31c 100644 --- a/docs/errata.md +++ b/docs/errata.md @@ -106,7 +106,7 @@ $$ * 188页，删除9.4节的标题，目录对应的部分也需要修改 * 188页，9.4节的第一段的第1行：原始的演员-评论员算法 → 原始的优势演员-评论员算法 * 188页，式(9.5)的上面一行：可得 → 可得时序差分误差 -* 189页，删除第4行到第5行的文字：因为 $r_{t}^{n}+V_{\pi}\left(s_{t+1}^{n}\right)-V_{\pi}\left(s_{t}^{n}\right)$ 被称为优势函数，所以该算法被称为优势演员-评论员算法。 +* 189页，删除第4行到第5行的文字：因为 $r_{t}^{n}+V_{\pi}\left(s_{t+1}^{n}\right)-V_{\pi}\left(s_{t}^{n}\right)$ 被称为**优势函数**，所以该算法被称为优势演员-评论员算法。 * 190页，9.5节第2段的第3行：也是不好实现的。我们可以实现优势演员-评论员算法就可以。 → 不好实现异步优势演员-评论员算法，但可以实现优势演员-评论员算法。 * 191页，第4和第5行：要用梯度去更新参数......就把梯度传 → 要用梯度去更新全局网络的参数。每个进程算出梯度以后，要把梯度传 * 191页，图9.6的上面一段的倒数第1行：变成 $\theta_2$了 → 变成$\theta_2$ 了（其他进程也会更新模型）