From d36eee874c0f4634f3b623a37e77fb7d65c9bf77 Mon Sep 17 00:00:00 2001 From: qiwang067 Date: Tue, 22 Jun 2021 23:03:50 +0800 Subject: [PATCH] add explanation of sampling --- docs/chapter5/chapter5.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/docs/chapter5/chapter5.md b/docs/chapter5/chapter5.md index adab6fe..1e70b47 100644 --- a/docs/chapter5/chapter5.md +++ b/docs/chapter5/chapter5.md @@ -23,6 +23,8 @@ $$ 具体怎么做呢？这边就需要介绍 `重要性采样(Importance Sampling，IS)` 的概念。 +> 对于ー个随机变量，通常用概率密度函数来刻画该变量的概率分布特性。具体来说，给定随机变量的一个取值，可以根据概率密度函数来计算该值对应的概率（密度）。反过来，也可以根据概率密度函数提供的概率分布信息来生成随机变量的一个取值，这就是采样。因此，从某种意义上来说，采样是概率密度函数的逆向应用。与根据概率密度函数计算样本点对应的概率值不同，采样过程往往没有那么直接，通常需要根据待采样分布的具体特点来选择合适的采样策略。 + 假设你有一个函数 $f(x)$，你要计算从 p 这个分布采样 $x$，再把 $x$ 带到 $f$ 里面，得到 $f(x)$。你要该怎么计算这个 $f(x)$ 的期望值？假设你不能对 p 这个分布做积分的话，那你可以从 p 这个分布去采样一些数据 $x^i$。把 $x^i$ 代到 $f(x)$ 里面，然后取它的平均值，就可以近似 $f(x)$ 的期望值。 现在有另外一个问题，我们没有办法从 p 这个分布里面采样数据。假设我们不能从 p 采样数据，只能从另外一个分布 q 去采样数据，q 可以是任何分布。我们不能够从 p 去采样数据，但可以从 q 去采样 $x$。我们从 q 去采样 $x^i$ 的话就不能直接套下面的式子：