什么是矩生成函数(MGF)?

MGF 的定义

第 k 矩,定义为 $\mathbb{E}(X^k)$

第 k 中心矩,定义为 $\mathbb{E}((X-\mu )^k)$

矩生成函数(Moment Generating Function, MGF)是用来寻找矩的函数的函数。随机变量实值函数 $X$ 的 MGF 定义为:

$$ \psi_{X}(t)=\mathbb{E}\left(e^{t X}\right)=\int e^{t x} \mathrm{d} F(x) = \int e^{tx} f(x) \mathrm{d}x $$ 其中 $t = 0$ 表示一阶矩,$t = 1$ 表示二阶矩……

它实际上是一个 Laplace 变换

对于实变函数 $x(t)$,其拉普拉斯变换是复变函数 $X(s)$ (其中复变量 $s = \sigma + i \omega $),定义为:

$$ X(s) = \int_{0}^{+\infty } e^{-st} x(t) \mathrm{d}t $$

记作 ${\mathcal {L}}x$ 或 ${\mathcal {L}}_{t}{x(t)}$

实值函数:函数输出值是实数的函数 实变函数:函数输入参数是实数的函数 复变函数:函数输入参数是复数的函数

输入:一个关于时间变量 $t$ 的函数 $x(t)$ 。 输出:一个关于复数变量 $s$ 的函数 $X(s)$

由于它的输出是一个函数,所以这类变换又叫生成函数

当 $ t= 0$ 时,求导,输出是数学期望函数 $E(X)$:

$$ \psi^{\prime}(0)=\left[\dfrac{d}{d t} \mathbb{E} e^{t X}\right]{t=0}=\mathbb{E}\left[\dfrac{d}{d t} e^{t X}\right]{t=0}=\mathbb{E}\left[X e^{t X}\right]_{t=0}=\mathbb{E}(X) $$

实际上对于 $k$ 阶导,$\psi^{(k)}(0) = \mathbb{E}(X^k)$(推导见本文),利用这一性质,我们可以很方便地计算一个分布的任意阶矩。

在统计学中,我们暂不不考虑 $t$ 为复数的情况。

例子:令 $X \sim \text{Exp}(1)$ 则

$$ \psi_{X}(t)=\mathbb{E} e^{t X}=\int_{0}^{\infty} e^{t x} e^{-x} \mathrm{d} x =\int_{0}^{\infty} e^{(t-1) x} \mathrm{d} x =\dfrac{1}{1-t} $$

限定 $t < 1$,以免积分发散。

因此有,$E(X) = \psi ^\prime(0) = 1$ ,$\mathbb{V}(X) = \mathbb{E}(X^2) - \mathbb{E}(X)^2 = 2 - 1 = 1$

引理 MGF 的性质

(1)若 $Y = aX + b$ 则 $ \psi_{Y}(t)=e^{b t} \psi_{X}(a t) $

(2)若 $X_1, \cdots , X_n$ 独立且 $Y = \sum_{i}^{X_i}$ 则 $ \psi_{Y}(t)=\prod_{i} \psi_{i}(t) $

离散分布的 MGF

$$ M_X(t) = \mathbb{E}[e^{tX}] = \sum_i e^{tx_i}\cdot p(x_i)\notag $$

常见分布的 MGF

$$ \begin{array}{ll} \text { Distribution } & \text { MGF } \psi(t) \ \operatorname{Bernoulli}(p) & p e^{t}+(1-p) \ \operatorname{Binomial}(n, p) & \left(p e^{t}+(1-p)\right)^ {n} \ \operatorname{Poisson}(\lambda) & e^{\lambda\left(e^{t} -1\right)} \ \operatorname{Normal}(\mu, \sigma) & \exp \left{\mu t+\dfrac {\sigma^{2} t^{2}}{2}\right} \ \operatorname{Gamma}(\alpha, \beta) & \left(\dfrac{1} {1-\beta t}\right)^{\alpha} \text { for } t<1 / \beta\end {array} $$

MGF 为什么能用?

已知:

$$ \begin{equation} e^{t x}=\dfrac{(t x)^{0}}{0 !}+\dfrac{(t x)^{\prime}}{1 !}+\dfrac{(t x)^{2}}{2 !}+\cdots \end{equation} $$

对其求期望,根据期望的性质,可知:

$$ \begin{equation} \mathbb{E}\left(e^{t x}\right)=\dfrac{t^{0}}{0 !} \mathbb{E}\left(x^{0}\right)+\dfrac{t^{1}}{1 !} \mathbb{E}\left(x^{1}\right)+\dfrac{t^{2}}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots \end{equation} $$

这就是 MGF 的展开式。尝试求一阶导数:

$$ \begin{equation} \dfrac{\mathrm{d}}{\mathrm{d}t} \mathbb{E}\left(e^{t x}\right)=0+E(x)+\dfrac{2 t}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots \end{equation} $$

求二阶导数:

$$ \begin{equation} \dfrac{\mathrm{d}^{2}}{\mathrm{d}t^{2}} \mathbb{E}\left(e^{t x}\right)=0+0+E\left(x^{2}\right)+\cdots \end{equation} $$

这样的求导可以继续下去。可以归纳出:

求 $k$ 阶导数,并代入 $t = 0$ ,即可得到 $\mathbb{E}(X^k)$

例子:求 $X \sim \operatorname{Uniform}(a, b)$ 的期望与方差。

参考解答

各种 MGF 的推导

均匀分布

$$ \begin{align} & \mathbb{E} \left(e^{t x}\right) \ &=\int_{a}^{b} e^{t x} \cdot \dfrac{1}{b-a} \mathrm{d} x \ &=\dfrac{1}{b-a} \cdot \dfrac{1}{t} \int_{a}^{b} e^{t x} \mathrm{d}(t x) \ &=\left.\dfrac{1}{b-a} \cdot \dfrac{1}{t} e^{t x}\right|_{a} ^{b} \ &=\dfrac{e^{b t}-e^{a t}}{t(b-a)} \end{align} $$

泊松分布

$$ \begin{equation} \begin{aligned} \mathbb{E}\left(e^{-t x}\right) &=\sum_{k=0}^{n} e^{t k} \cdot \dfrac{\lambda^{k} e^{-\lambda}}{k !} \ &=\sum e^{t k-\lambda} \cdot \dfrac{\lambda^{k}}{k !} \ &=e^{-\lambda} \sum e^{t k} \cdot \dfrac{\lambda^{k}}{k !} \ &=e^{-\lambda} \sum \dfrac{\left(e^{t} \lambda\right)^{k}}{k !} \ &=e^{-\lambda} \cdot e^{e^{t \lambda} \lambda} \ &=e^{\left(e^{t}-1\right) \lambda} \end{aligned} \end{equation} $$

一阶导数:

$$ \begin{equation} \begin{aligned} M_{X}^{\prime}(t) &=\left[e^{\left(e^{t-1}\right) \lambda}\right]^{\prime} \ &=\left[\left(e^{t-1}\right) \lambda\right]^{\prime} \cdot e^{\left(e^{t}-1\right) \lambda} \ &=\lambda e^{t} \cdot e^{\left(e^{t-1}\right) \lambda} \ \mathbb{E}(x) &=\lambda . \end{aligned} \end{equation} $$

二阶导数:

$$ \begin{equation} \begin{aligned} M {x}^{\prime\prime}(t) &=\left[\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right]^{\prime} \ &=\lambda e^{t} \cdot\left[e^{\left(e^{t}-1\right) \lambda}+\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right] \ &=\lambda e^{t}\left(\lambda e^{t}+1\right) e^{\left(e^{t}-1\right) \lambda} \ \mathbb{E}\left(x^{2}\right) &=\lambda^{2}+\lambda \end{aligned} \end{equation} $$

伽马分布

$$ \begin{equation} \begin{aligned} \mathbb{E}\left(e^{x t}\right) &=\int_{-\infty}^{\infty} e^{x t} \cdot f(x) \mathrm{d} x \ &=\int_{-\infty}^{\infty} e^{x t} \cdot \dfrac{\lambda^{\alpha} x^{\alpha-1} e^{-\lambda x}}{\Gamma(\alpha)} \mathrm{d} x \ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \int_{0}^{\infty} e^{-(\lambda-t) x} \cdot x^{\alpha-1} \mathrm{d} x \ &{\color{#22a097}{\operatorname{let} u=( \lambda-t) x \text{ then } \mathrm{d}u=(\lambda-t) \mathrm{d} x}} \ \mathbb{E}\left(e^{t x}\right) &=\dfrac{\lambda^{\alpha}}{r(\alpha)} \int_{0}^{\infty} e^{-u} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \cdot\left(\dfrac{1}{\lambda-t}\right)^{-1} \dfrac{\mathrm{d}u}{\lambda-t} \ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \int_{0}^{\infty} e^{-u} \cdot u^{\alpha-1} \mathrm{d}u \ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \quad \Gamma(\alpha) \ &=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot \dfrac{\Gamma(\alpha)}{(\lambda-t)^{\alpha}} \ &=\left(\dfrac{\lambda}{\lambda-t}\right)^{\alpha} \ &=\left(\dfrac{1}{1-\beta t}\right)^{\alpha} \end{aligned} \end{equation} $$

一阶导数

$$ \begin{aligned} M_{x}^{\prime}(t) &=\left(\dfrac{1}{1-\beta t}\right)^{\prime} \cdot \alpha\left(\dfrac{1}{1-\beta t}\right)^{\alpha-1} \ &=\beta \cdot \dfrac{\alpha}{(1-\beta t)^{\alpha+1}} \end{aligned} $$

据此

$$ \mathbb{E}(X) = \alpha \beta $$

二阶导数

$$ \begin{aligned} M_{x}^{\prime \prime}(t) &=\alpha \beta\left[\left(\dfrac{1}{1-\beta t}\right)^{\alpha+1}\right]^\prime \ &=\alpha \beta\left[(\alpha+1)\left(\dfrac{1}{1-\beta t}\right)^{\alpha} \cdot\left(\beta \cdot \dfrac{1}{(1-\beta t)^{2}}\right)\right] \ &=\alpha \beta\left[(\alpha+1) \beta \cdot \dfrac{1}{(1-\beta t)^{\alpha+2}}\right] \ &=\alpha(\alpha+1) \beta^{2} \cdot(1-\beta t)^{-(\alpha+2)} \end{aligned} $$

据此

$$ \mathbb{E}(X^2) = \alpha (\alpha +1)\beta ^{2} $$

$$ \mathbb{V}(X) = \alpha \beta ^{2} $$

指数分布

令 $\alpha = 1$,得到指数分布的 MGF:

$$ \dfrac{\lambda }{\lambda - t} $$

正态分布

考虑 $\sigma ^{2} = 1 \wedge \mu = 0$ ,此时为标准正态分布。

$$ \begin{equation} \begin{aligned} N(x) &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left{-\frac{x^{2}}{2}\right} \ \mathbb{E}\left(e^{x t}\right) &=\int_{-\infty}^{\infty} e^{x t}\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left{-\frac{x^{2}}{2}\right} \mathrm{d}x \ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left{-\frac{1}{2} x^{2}+x t\right} \mathrm{d}x \ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left{-\frac{1}{2}\left(x^{2}-2 x t+t^{2}\right)+\frac{1}{2} t^{2}\right} \mathrm{d}x \ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left{-\frac{1}{2}(x-t)^{2}\right} \exp \left{\frac{1}{2} t^{2}\right} \mathrm{d}x \ &=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} e^{-\frac{1}{2}(x-t)^{2}} \mathrm{d}x \ &=e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} e^{-\frac{(x-t)^{2}}{2}} \mathrm{d}x \ &=e^{\frac{t^{2}}{2}} \cdot 1 \ &=e^{\frac{t^{2}}{2}} \end{aligned} \end{equation} $$

参考

All of statistics

https://www.bilibili.com/video/BV1sJ411i75s/

最近发布

要查看全部文章,请点击右上角“归档”,下面是最近发布的几篇日志