bacow/easy-rl
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix ch2 typos

Browse Source
This commit is contained in:
qiwang067
2021-02-19 16:22:54 +08:00
parent 009f642cdc
commit b7d671ab78
1 changed files with 2 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
docs/chapter2/chapter2.md
View File

@@ -394,7 +394,7 @@ $$
* 第一层加和就是这个叶子节点，往上走一层的话，我们就可以把未来的价值($s'$ 的价值) backup 到黑色的节点。
* 第二层加和是对 action 进行加和。得到黑色节点的价值过后，再往上 backup 一层，就会推到根节点的价值，即当前状态的价值。
![](img/state_value_function_backup.png ':size=450')
![](img/state_value_function_backup.png ':size=550')
上图是状态-价值函数的计算分解图，上图 B 计算公式为
$$
@@ -422,7 +422,7 @@ $$
* 第一层加和是先把这个叶子节点从黑色节点推到这个白色的节点，进了它的这个状态。
* 当我们到达某一个状态过后，再对这个白色节点进行一个加和，这样就把它重新推回到当前时刻的一个 Q 函数。
![](img/q_function_backup.png ':size=450')
![](img/q_function_backup.png ':size=550')
在上图 C 中，
$$