bacow/easy-rl
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Update chapter2_questions&keywords.md

Browse Source
This commit is contained in:
David Young
2021-02-04 17:02:13 +08:00
committed by GitHub
parent 755b7bfcfc
commit af67b34d42
1 changed files with 1 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
docs/chapter2/chapter2_questions&keywords.md
View File

@@ -96,7 +96,7 @@
- 高冷的面试官：能不能手写一下第n步的值函数更新公式呀？另外，当n越来越大时，值函数的期望和方差分别变大还是变小呢？ - 高冷的面试官：能不能手写一下第n步的值函数更新公式呀？另外，当n越来越大时，值函数的期望和方差分别变大还是变小呢？
答：$n$越大，方差越大，期望偏差越小。值函数的更新公式? 话不多说，公式如下： 答：$n$越大，方差越大，期望偏差越小。值函数的更新公式? 话不多说，公式如下：
$$ $$
Q\left(S, A\right) \leftarrow Q\left(S, A\right)+\alpha\left[\sum_{i=1}^{n} \gamma^{i-1} R_{t+i}+\gamma^{n} \max _{a} Q\left(S',a\right)-Q\left(S, A\right)\right] Q\left(S, A\right) \leftarrow Q\left(S, A\right)+\alpha\left[\sum_{i=1}^{n} \gamma^{i-1} R_{t+i}+\gamma^{n} \max _{a} Q\left(S',a\right)-Q\left(S, A\right)\right]
$$ $$