MGF 的定义
第 k 矩，定义为 $\mathbb {E}(X^k)$
第 k 中心矩，定义为 $\mathbb {E}((X-\mu)^k)$
矩生成函数（Moment Generating Function, MGF）是用来寻找矩的函数的函数。随机变量实值函数 $X$ 的 MGF 定义为：
$$
\psi_{X}(t)=\mathbb{E}\left(e^{t X}\right)=\int e^{t x} \mathrm{d} F(x) = \int e^{tx} f(x) \mathrm{d}x
$$
其中 $t = 0$ 表示一阶矩，$t = 1$ 表示二阶矩……
它实际上是一个 Laplace 变换。
对于实变函数 $x (t)$，其拉普拉斯变换是复变函数 $X (s)$ （其中复变量 $s = \sigma + i \omega $），定义为：
$$
X(s) = \int_{0}^{+\infty } e^{-st} x(t) \mathrm{d}t
>
$$
记作 ${\mathcal {L}} x$ 或 ${\mathcal {L}}_{t}\{x (t)\}$
实值函数：函数输出值是实数的函数 实变函数：函数输入参数是实数的函数 复变函数：函数输入参数是复数的函数
输入：一个关于时间变量 $t$ 的函数 $x (t)$ 。 输出：一个关于复数变量 $s$ 的函数 $X (s)$
由于它的输出是一个函数，所以这类变换又叫生成函数。
当 $ t= 0$ 时，求导，输出是数学期望函数 $E (X)$：
$$
\psi^{\prime}(0)=\left[\dfrac{d}{d t} \mathbb{E} e^{t X}\right]_{t=0}=\mathbb{E}\left[\dfrac{d}{d t} e^{t X}\right]_{t=0}=\mathbb{E}\left[X e^{t X}\right]_{t=0}=\mathbb{E}(X)
$$
实际上对于 $k$ 阶导，$\psi^{(k)}(0) = \mathbb {E}(X^k)$（推导见本文），利用这一性质，我们可以很方便地计算一个分布的任意阶矩。
在统计学中，我们暂不不考虑 $t$ 为复数的情况。
例子：令 $X \sim \text {Exp}(1)$ 则
$$
\psi_{X}(t)=\mathbb{E} e^{t X}=\int_{0}^{\infty} e^{t x} e^{-x} \mathrm{d} x =\int_{0}^{\infty} e^{(t-1) x} \mathrm{d} x =\dfrac{1}{1-t}
$$
限定 $t < 1$，以免积分发散。
因此有，$E (X) = \psi ^\prime (0) = 1$ ，$\mathbb {V}(X) = \mathbb {E}(X^2) - \mathbb {E}(X)^2 = 2 - 1 = 1$
引理 MGF 的性质
（1）若 $Y = aX + b$ 则 $ \psi_{Y}(t)=e^{b t} \psi_{X}(a t) $
（2）若 $X_1, \cdots , X_n$ 独立且 $Y = \sum_{i}^{X_i}$ 则 $ \psi_{Y}(t)=\prod_{i} \psi\_{i}(t) $
离散分布的 MGF
$$
M_X(t) = \mathbb{E}[e^{tX}] = \sum_i e^{tx_i}\cdot p(x_i)\notag
$$
常见分布的 MGF
$$
\begin{array}{ll}
\text { Distribution } & \text { MGF } \psi(t) \\
\operatorname{Bernoulli}(p) & p e^{t}+(1-p) \\
\operatorname{Binomial}(n, p) & \left(p e^{t}+(1-p)\right)^ {n} \\
\operatorname{Poisson}(\lambda) & e^{\lambda\left(e^{t} -1\right)} \\
\operatorname{Normal}(\mu, \sigma) & \exp \left\{\mu t+\dfrac {\sigma^{2} t^{2}}{2}\right\} \\
\operatorname{Gamma}(\alpha, \beta) & \left(\dfrac{1} {1-\beta t}\right)^{\alpha} \text { for } t<1 / \beta\end {array}
$$
MGF 为什么能用？
已知：
$$
\begin{equation}
e^{t x}=\dfrac{(t x)^{0}}{0 !}+\dfrac{(t x)^{\prime}}{1 !}+\dfrac{(t x)^{2}}{2 !}+\cdots
\end{equation}
$$
对其求期望，根据期望的性质，可知：
$$
\begin{equation}
\mathbb{E}\left(e^{t x}\right)=\dfrac{t^{0}}{0 !} \mathbb{E}\left(x^{0}\right)+\dfrac{t^{1}}{1 !} \mathbb{E}\left(x^{1}\right)+\dfrac{t^{2}}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots
\end{equation}
$$
这就是 MGF 的展开式。尝试求一阶导数：
$$
\begin{equation}
\dfrac{\mathrm{d}}{\mathrm{d}t} \mathbb{E}\left(e^{t x}\right)=0+E(x)+\dfrac{2 t}{2 !} \mathbb{E}\left(x^{2}\right)+\cdots
\end{equation}
$$
求二阶导数：
$$
\begin{equation}
\dfrac{\mathrm{d}^{2}}{\mathrm{d}t^{2}} \mathbb{E}\left(e^{t x}\right)=0+0+E\left(x^{2}\right)+\cdots
\end{equation}
$$
这样的求导可以继续下去。可以归纳出：
求 $k$ 阶导数，并代入 $t = 0$ ，即可得到 $\mathbb {E}(X^k)$
例子：求 $X \sim \operatorname {Uniform}(a, b)$ 的期望与方差。
各种 MGF 的推导
均匀分布
$$
\begin{align}
& \mathbb{E} \left(e^{t x}\right) \\
&=\int_{a}^{b} e^{t x} \cdot \dfrac{1}{b-a} \mathrm{d} x \\
&=\dfrac{1}{b-a} \cdot \dfrac{1}{t} \int_{a}^{b} e^{t x} \mathrm{d}(t x) \\
&=\left.\dfrac{1}{b-a} \cdot \dfrac{1}{t} e^{t x}\right|_{a} ^{b} \\
&=\dfrac{e^{b t}-e^{a t}}{t(b-a)}
\end{align}
$$
泊松分布
$$
\begin{equation}
\begin{aligned} \mathbb{E}\left(e^{-t x}\right) &=\sum_{k=0}^{n} e^{t k} \cdot \dfrac{\lambda^{k} e^{-\lambda}}{k !} \\
&=\sum e^{t k-\lambda} \cdot \dfrac{\lambda^{k}}{k !} \\
&=e^{-\lambda} \sum e^{t k} \cdot \dfrac{\lambda^{k}}{k !} \\
&=e^{-\lambda} \sum \dfrac{\left(e^{t} \lambda\right)^{k}}{k !} \\
&=e^{-\lambda} \cdot e^{e^{t \lambda} \lambda} \\
&=e^{\left(e^{t}-1\right) \lambda} \end{aligned}
\end{equation}
$$
一阶导数：
$$
\begin{equation}
\begin{aligned} M_{X}^{\prime}(t)
&=\left[e^{\left(e^{t-1}\right) \lambda}\right]^{\prime} \\
&=\left[\left(e^{t-1}\right) \lambda\right]^{\prime} \cdot e^{\left(e^{t}-1\right) \lambda} \\
&=\lambda e^{t} \cdot e^{\left(e^{t-1}\right) \lambda} \\ \mathbb{E}(x)
&=\lambda . \end{aligned}
\end{equation}
$$
二阶导数：
$$
\begin{equation}
\begin{aligned} M {x}^{\prime\prime}(t)
&=\left[\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right]^{\prime} \\
&=\lambda e^{t} \cdot\left[e^{\left(e^{t}-1\right) \lambda}+\lambda e^{t} \cdot e^{\left(e^{t}-1\right) \lambda}\right] \\
&=\lambda e^{t}\left(\lambda e^{t}+1\right) e^{\left(e^{t}-1\right) \lambda} \\ \mathbb{E}\left(x^{2}\right)
&=\lambda^{2}+\lambda \end{aligned}
\end{equation}
$$
伽马分布
$$
\begin{equation}
\begin{aligned}
\mathbb{E}\left(e^{x t}\right)
&=\int_{-\infty}^{\infty} e^{x t} \cdot f(x) \mathrm{d} x \\
&=\int_{-\infty}^{\infty} e^{x t} \cdot \dfrac{\lambda^{\alpha} x^{\alpha-1} e^{-\lambda x}}{\Gamma(\alpha)} \mathrm{d} x \\
&=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \int_{0}^{\infty} e^{-(\lambda-t) x} \cdot x^{\alpha-1} \mathrm{d} x \\
&{\color{#22a097}{\operatorname{let} u=( \lambda-t) x \text{ then } \mathrm{d}u=(\lambda-t) \mathrm{d} x}} \\
\mathbb{E}\left(e^{t x}\right)
&=\dfrac{\lambda^{\alpha}}{r(\alpha)} \int_{0}^{\infty} e^{-u} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \cdot\left(\dfrac{1}{\lambda-t}\right)^{-1} \dfrac{\mathrm{d}u}{\lambda-t} \\
&=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \int_{0}^{\infty} e^{-u} \cdot u^{\alpha-1} \mathrm{d}u \\
&=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot\left(\dfrac{1}{\lambda-t}\right)^{\alpha} \quad \Gamma(\alpha) \\
&=\dfrac{\lambda^{\alpha}}{\Gamma(\alpha)} \cdot \dfrac{\Gamma(\alpha)}{(\lambda-t)^{\alpha}} \\
&=\left(\dfrac{\lambda}{\lambda-t}\right)^{\alpha} \\
&=\left(\dfrac{1}{1-\beta t}\right)^{\alpha}
\end{aligned}
\end{equation}
$$
一阶导数
$$
\begin{aligned} M_{x}^{\prime}(t) &=\left(\dfrac{1}{1-\beta t}\right)^{\prime} \cdot \alpha\left(\dfrac{1}{1-\beta t}\right)^{\alpha-1} \\ &=\beta \cdot \dfrac{\alpha}{(1-\beta t)^{\alpha+1}} \end{aligned}
$$
据此
$$
\mathbb{E}(X) = \alpha \beta
$$
二阶导数
$$
\begin{aligned}
M_{x}^{\prime \prime}(t) &=\alpha \beta\left[\left(\dfrac{1}{1-\beta t}\right)^{\alpha+1}\right]^\prime \\
&=\alpha \beta\left[(\alpha+1)\left(\dfrac{1}{1-\beta t}\right)^{\alpha} \cdot\left(\beta \cdot \dfrac{1}{(1-\beta t)^{2}}\right)\right] \\
&=\alpha \beta\left[(\alpha+1) \beta \cdot \dfrac{1}{(1-\beta t)^{\alpha+2}}\right] \\
&=\alpha(\alpha+1) \beta^{2} \cdot(1-\beta t)^{-(\alpha+2)}
\end{aligned}
$$
据此
$$
\mathbb{E}(X^2) = \alpha (\alpha +1)\beta ^{2}
$$
$$
\mathbb{V}(X) = \alpha \beta ^{2}
$$
指数分布
令 $\alpha = 1$，得到指数分布的 MGF：
$$
\dfrac{\lambda }{\lambda - t}
$$
正态分布
考虑 $\sigma ^{2} = 1 \wedge \mu = 0$ ，此时为标准正态分布。
$$
\begin{equation}
\begin{aligned} N(x)
&=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left\{-\frac{x^{2}}{2}\right\} \\ \mathbb{E}\left(e^{x t}\right)
&=\int_{-\infty}^{\infty} e^{x t}\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \exp \left\{-\frac{x^{2}}{2}\right\} \mathrm{d}x \\
&=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2} x^{2}+x t\right\} \mathrm{d}x \\
&=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2}\left(x^{2}-2 x t+t^{2}\right)+\frac{1}{2} t^{2}\right\} \mathrm{d}x \\
&=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} \int_{-\infty}^{\infty} \exp \left\{-\frac{1}{2}(x-t)^{2}\right\} \exp \left\{\frac{1}{2} t^{2}\right\} \mathrm{d}x \\
&=\left(\frac{1}{2 \pi}\right)^{\frac{1}{2}} e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} e^{-\frac{1}{2}(x-t)^{2}} \mathrm{d}x \\
&=e^{\frac{t^{2}}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} e^{-\frac{(x-t)^{2}}{2}} \mathrm{d}x \\
&=e^{\frac{t^{2}}{2}} \cdot 1 \\
&=e^{\frac{t^{2}}{2}} \end{aligned}
\end{equation}
$$
参考
All of statistics