Update chapter4_questions&keywords.md

This commit is contained in:
Yiyuan Yang
2021-12-17 16:22:03 +08:00
committed by GitHub
parent 67eff6252b
commit 008c559f9c

View File

@@ -7,7 +7,7 @@
- **Trajectory** 一个试验中我们将environment 输出的 $s$ 跟 actor 输出的行为 $a$,把这个 $s$ 跟 $a$ 全部串起来形成的集合我们称为Trajectory即 $\text { Trajectory } \tau=\left\{s_{1}, a_{1}, s_{2}, a_{2}, \cdots, s_{t}, a_{t}\right\}$。
- **Reward function** 根据在某一个 state 采取的某一个 action 决定说现在这个行为可以得到多少的分数,它是一个 function。也就是给一个 $s_1$$a_1$,它告诉你得到 $r_1$。给它 $s_2$ $a_2$,它告诉你得到 $r_2$。 把所有的 $r$ 都加起来,我们就得到了 $R(\tau)$ ,代表某一个 trajectory $\tau$ 的 reward。
- **Expected reward** $\bar{R}_{\theta}=\sum_{\tau} R(\tau) p_{\theta}(\tau)=E_{\tau \sim p_{\theta}(\tau)}[R(\tau)]$。
- **Reinforce** 基于策略梯度的强化学习的经典算法,其采用回合更新的模式。
- **REINFORCE** 基于策略梯度的强化学习的经典算法,其采用回合更新的模式。
## 2 Questions