Merge pull request #118 from olianate/patch-1

更正图例指示错误
This commit is contained in:
Qi Wang
2022-10-27 15:35:53 +08:00
committed by GitHub

View File

@@ -44,7 +44,7 @@ $$
状态转移矩阵类似于条件概率conditional probability它表示当我们知道当前我们在状态 $s_t$ 时,到达下面所有状态的概率。所以它的每一行描述的是从一个节点到达所有其他节点的概率。
### 2.1.3 马尔可夫过程的例子
图 2.2 所示为一个马尔可夫过程的例子,这里有七个状态。比如从 $s_1$ 开始它有0.4的概率到 $s_2$ ,有 0.6 的概率留在当前的状态。 $s_2$ 有 0.4 的概率到$s_1$,有 0.4 的概率到 $s_3$ ,另外有 0.2 的概率留在当前状态。所以给定状态转移的马尔可夫链后,我们可以对这个链进行采样,这样就会得到一串轨迹。例如,假设我们从状态 $s_3$ 开始可以得到3个轨迹
图 2.3 所示为一个马尔可夫过程的例子,这里有七个状态。比如从 $s_1$ 开始它有0.4的概率到 $s_2$ ,有 0.6 的概率留在当前的状态。 $s_2$ 有 0.4 的概率到$s_1$,有 0.4 的概率到 $s_3$ ,另外有 0.2 的概率留在当前状态。所以给定状态转移的马尔可夫链后,我们可以对这个链进行采样,这样就会得到一串轨迹。例如,假设我们从状态 $s_3$ 开始可以得到3个轨迹
* $s_3, s_4, s_5, s_6, s_6$
* $s_3, s_2, s_3, s_2, s_1$
* $s_3, s_4, s_4, s_5, s_5$。