MGF 的定义

第 k 矩,定义为 $\mathbb {E}(X^k)$

第 k 中心矩,定义为 $\mathbb {E}((X-\mu)^k)$

矩生成函数(Moment Generating Function, MGF)是用来寻找矩的函数的函数。随机变量实值函数 $X$ 的 MGF 定义为:

$$ \psi_{X}(t)=\mathbb{E}\left(e^{t X}\right)=\int e^{t x} \mathrm{d} F(x) = \int e^{tx} f(x) \mathrm{d}x $$

其中 $t = 0$ 表示一阶矩,$t = 1$ 表示二阶矩……

它实际上是一个 Laplace 变换

对于实变函数 $x (t)$,其拉普拉斯变换是复变函数 $X (s)$ (其中复变量 $s = \sigma + i \omega $),定义为:

$$ X(s) = \int_{0}^{+\infty } e^{-st} x(t) \mathrm{d}t > $$

记作 ${\mathcal {L}} x$ 或 ${\mathcal {L}}_{t}\{x (t)\}$

实值函数:函数输出值是实数的函数 实变函数:函数输入参数是实数的函数 复变函数:函数输入参数是复数的函数

输入:一个关于时间变量 $t$ 的函数 $x (t)$ 。 输出:一个关于复数变量 $s$ 的函数 $X (s)$

由于它的输出是一个函数,所以这类变换又叫生成函数

当 $ t= 0$ 时,求导,输出是数学期望函数 $E (X)$:

$$ \psi^{\prime}(0)=\left[\dfrac{d}{d t} \mathbb{E} e^{t X}\right]_{t=0}=\mathbb{E}\left[\dfrac{d}{d t} e^{t X}\right]_{t=0}=\mathbb{E}\left[X e^{t X}\right]_{t=0}=\mathbb{E}(X) $$

实际上对于 $k$ 阶导,$\psi^{(k)}(0) = \mathbb {E}(X^k)$(推导见本文),利用这一性质,我们可以很方便地计算一个分布的任意阶矩。

在统计学中,我们暂不不考虑 $t$ 为复数的情况。

例子:令 $X \sim \text {Exp}(1)$ 则

$$ \psi_{X}(t)=\mathbb{E} e^{t X}=\int_{0}^{\infty} e^{t x} e^{-x} \mathrm{d} x =\int_{0}^{\infty} e^{(t-1) x} \mathrm{d} x =\dfrac{1}{1-t} $$

限定 $t < 1$,以免积分发散。

因此有,$E (X) = \psi ^\prime (0) = 1$ ,$\mathbb {V}(X) = \mathbb {E}(X^2) - \mathbb {E}(X)^2 = 2 - 1 = 1$

引理 MGF 的性质

(1)若 $Y = aX + b$ 则 $ \psi_{Y}(t)=e^{b t} \psi_{X}(a t) $

(2)若 $X_1, \cdots , X_n$ 独立且 $Y = \sum_{i}^{X_i}$ 则 $ \psi_{Y}(t)=\prod_{i} \psi\_{i}(t) $

离散分布的 MGF

$$ M_X(t) = \mathbb{E}[e^{tX}] = \sum_i e^{tx_i}\cdot p(x_i)\notag $$

常见分布的 MGF

$$ \begin{array}{ll} \text { Distribution } & \text { MGF } \psi(t) \\ \operatorname{Bernoulli}(p) & p e^{t}+(1-p) \\ \operatorname{Binomial}(n, p) & \left(p e^{t}+(1-p)\right)^ {n} \\ \operatorname{Poisson}(\lambda) & e^{\lambda\left(e^{t} -1\right)} \\ \operatorname{Normal}(\mu, \sigma) & \exp \left\{\mu t+\dfrac {\sigma^{2} t^{2}}{2}\right\} \\ \operatorname{Gamma}(\alpha, \beta) & \left(\dfrac{1} {1-\beta t}\right)^{\alpha} \text { for } t<1 / \beta\end {array} $$

MGF 为什么能用?

已知:

$$ \begin{equation} e^{t x}=\dfrac{(t x)^{0}}{0 !}+\dfrac{(t x)^{\prime}}{1 !}+\dfrac{(t x)^{2}}{2 !}+\cdots \end{equation} $$

对其求期望,根据期望的性质,可知:

$$ \begin{equation} \mathbb{E}\left(e^{t x}\right)=\dfrac{t^{0}}{0 !} \mathbb{E}\left(x^{0}\right)+\dfrac{t^{1}}{1 !} \mathbb{E}\left(x^{1}\right)+\dfrac{t^{2}}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots \end{equation} $$

这就是 MGF 的展开式。尝试求一阶导数:

$$ \begin{equation} \dfrac{\mathrm{d}}{\mathrm{d}t} \mathbb{E}\left(e^{t x}\right)=0+E(x)+\dfrac{2 t}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots \end{equation} $$

求二阶导数:

$$ \begin{equation} \dfrac{\mathrm{d}^{2}}{\mathrm{d}t^{2}} \mathbb{E}\left(e^{t x}\right)=0+0+E\left(x^{2}\right)+\cdots \end{equation} $$

这样的求导可以继续下去。可以归纳出:

求 $k$ 阶导数,并代入 $t = 0$ ,即可得到 $\mathbb {E}(X^k)$

例子:求 $X \sim \operatorname {Uniform}(a, b)$ 的期望与方差。

参考解答

各种 MGF 的推导

均匀分布

$$ \begin{align} & \mathbb{E} \left(e^{t x}\right) \\ &=\int_{a}^{b} e^{t x} \cdot \dfrac{1}{b-a} \mathrm{d} x \\ &=\dfrac{1}{b-a} \cdot \dfrac{1}{t} \int_{a}^{b} e^{t x} \mathrm{d}(t x) \\ &=\left.\dfrac{1}{b-a} \cdot \dfrac{1}{t} e^{t x}\right|_{a} ^{b} \\ &=\dfrac{e^{b t}-e^{a t}}{t(b-a)} \end{align} $$

泊松分布

$$ \begin{equation} \begin{aligned} \mathbb{E}\left(e^{-t x}\right) &=\sum_{k=0}^{n} e^{t k} \cdot \dfrac{\lambda^{k} e^{-\lambda}}{k !} \\ &=\sum e^{t k-\lambda} \cdot \dfrac{\lambda^{k}}{k !} \\ &=e^{-\lambda} \sum e^{t k} \cdot \dfrac{\lambda^{k}}{k !} \\ &=e^{-\lambda} \sum \dfrac{\left(e^{t} \lambda\right)^{k}}{k !} \\ &=e^{-\lambda} \cdot e^{e^{t \lambda} \lambda} \\ &=e^{\left(e^{t}-1\right) \lambda} \end{aligned} \end{equation} $$

一阶导数:

$$ \begin{equation} \begin{aligned} M_{X}^{\prime}(t) &=\left[e^{\left(e^{t-1}\right) \lambda}\right]^{\prime} \\ &=\left[\left(e^{t-1}\right) \lambda\right]^{\prime} \cdot e^{\left(e^{t}-1\right) \lambda} \\ &=\lambda e^{t} \cdot e^{\left(e^{t-1}\right) \lambda} \\ \mathbb{E}(x) &=\lambda . \end{aligned} \end{equation} $$

二阶导数:

$$ \begin{equation} \begin{aligned} M {x}^{\prime\prime}(t) &=\left[\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right]^{\prime} \\ &=\lambda e^{t} \cdot\left[e^{\left(e^{t}-1\right) \lambda}+\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right] \\ &=\lambda e^{t}\left(\lambda e^{t}+1\right) e^{\left(e^{t}-1\right) \lambda} \\ \mathbb{E}\left(x^{2}\right) &=\lambda^{2}+\lambda \end{aligned} \end{equation} $$

伽马分布

$$ \begin{equation} \begin{aligned} \mathbb{E}\left(e^{x t}\right) &=\int_{-\infty}^{\infty} e^{x t} \cdot f(x) \mathrm{d} x \\ &=\int_{-\infty}^{\infty} e^{x t} \cdot \dfrac{\lambda^{\alpha} x^{\alpha-1} e^{-\lambda x}}{\Gamma(\alpha)} \mathrm{d} x \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \int_{0}^{\infty} e^{-(\lambda-t) x} \cdot x^{\alpha-1} \mathrm{d} x \\ &{\color{#22a097}{\operatorname{let} u=( \lambda-t) x \text{ then } \mathrm{d}u=(\lambda-t) \mathrm{d} x}} \\ \mathbb{E}\left(e^{t x}\right) &=\dfrac{\lambda^{\alpha}}{r(\alpha)} \int_{0}^{\infty} e^{-u} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \cdot\left(\dfrac{1}{\lambda-t}\right)^{-1} \dfrac{\mathrm{d}u}{\lambda-t} \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \int_{0}^{\infty} e^{-u} \cdot u^{\alpha-1} \mathrm{d}u \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \quad \Gamma(\alpha) \\ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot \dfrac{\Gamma(\alpha)}{(\lambda-t)^{\alpha}} \\ &=\left(\dfrac{\lambda}{\lambda-t}\right)^{\alpha} \\ &=\left(\dfrac{1}{1-\beta t}\right)^{\alpha} \end{aligned} \end{equation} $$

一阶导数

$$ \begin{aligned} M_{x}^{\prime}(t) &=\left(\dfrac{1}{1-\beta t}\right)^{\prime} \cdot \alpha\left(\dfrac{1}{1-\beta t}\right)^{\alpha-1} \\ &=\beta \cdot \dfrac{\alpha}{(1-\beta t)^{\alpha+1}} \end{aligned} $$

据此

$$ \mathbb{E}(X) = \alpha \beta $$

二阶导数

$$ \begin{aligned} M_{x}^{\prime \prime}(t) &=\alpha \beta\left[\left(\dfrac{1}{1-\beta t}\right)^{\alpha+1}\right]^\prime \\ &=\alpha \beta\left[(\alpha+1)\left(\dfrac{1}{1-\beta t}\right)^{\alpha} \cdot\left(\beta \cdot \dfrac{1}{(1-\beta t)^{2}}\right)\right] \\ &=\alpha \beta\left[(\alpha+1) \beta \cdot \dfrac{1}{(1-\beta t)^{\alpha+2}}\right] \\ &=\alpha(\alpha+1) \beta^{2} \cdot(1-\beta t)^{-(\alpha+2)} \end{aligned} $$

据此

$$ \mathbb{E}(X^2) = \alpha (\alpha +1)\beta ^{2} $$
$$ \mathbb{V}(X) = \alpha \beta ^{2} $$

指数分布

令 $\alpha = 1$,得到指数分布的 MGF:

$$ \dfrac{\lambda }{\lambda - t} $$

正态分布

考虑 $\sigma ^{2} = 1 \wedge \mu = 0$ ,此时为标准正态分布。

$$ \begin{equation} \begin{aligned} N(x) &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left\{-\frac{x^{2}}{2}\right\} \\ \mathbb{E}\left(e^{x t}\right) &=\int_{-\infty}^{\infty} e^{x t}\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left\{-\frac{x^{2}}{2}\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2} x^{2}+x t\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2}\left(x^{2}-2 x t+t^{2}\right)+\frac{1}{2} t^{2}\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2}(x-t)^{2}\right\} \exp \left\{\frac{1}{2} t^{2}\right\} \mathrm{d}x \\ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} e^{-\frac{1}{2}(x-t)^{2}} \mathrm{d}x \\ &=e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} e^{-\frac{(x-t)^{2}}{2}} \mathrm{d}x \\ &=e^{\frac{t^{2}}{2}} \cdot 1 \\ &=e^{\frac{t^{2}}{2}} \end{aligned} \end{equation} $$

参考

All of statistics

https://www.bilibili.com/video/BV1sJ411i75s/