bacow/easy-rl
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Update chapter2_questions&keywords.md

Browse Source
This commit is contained in:
David Young
2021-02-03 17:32:18 +08:00
committed by GitHub
parent 157db18d0b
commit a52b7a9055
1 changed files with 2 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
docs/chapter2/chapter2_questions&keywords.md
View File

@@ -86,13 +86,13 @@
- 高冷的面试官: 请分别写出基于状态值函数的贝尔曼方程以及基于动作值的贝尔曼方程. - 高冷的面试官: 请分别写出基于状态值函数的贝尔曼方程以及基于动作值的贝尔曼方程.
答: 答:
1. 基于状态值函数的贝尔曼方程: 1. 基于状态值函数的贝尔曼方程:
$$ $$
v_{\pi}(s) = \sum_{a}{\pi(a|s)}\sum_{s',r}{p(s',r|s,a)[r(s,a)+\gamma v_{\pi}(s')]} v_{\pi}(s) = \sum_{a}{\pi(a|s)}\sum_{s',r}{p(s',r|s,a)[r(s,a)+\gamma v_{\pi}(s')]}
$$ $$
2. 基于动作值的贝尔曼方程: 2. 基于动作值的贝尔曼方程:
$$ $$
q_{\pi}(s,a)=\sum_{s',r}p(s',r|s,a)[r(s',a)+\gamma v_{\pi}(s')] q_{\pi}(s,a)=\sum_{s',r}p(s',r|s,a)[r(s',a)+\gamma v_{\pi}(s')]