概率论与统计学笔记

从数学结构的根基建立概率的世界。

随机变量 掌握各种分布。

期望和方差

$ 4.1 $ 定理 (马尔可夫 (Markov) 不等式) 令 $ X $ 为一非负随机变量，假设 $ \mathbb {E}(X) $ 存在，对任意 $ t>0 $ 有 $$ \mathbb{P}(X>t) \leqslant \dfrac{\mathbb{E}(X)}{t} $$ $ 4.2 $ 定理 (切比雪夫 (Chebyshev) 不等式) 令 $ \mu=\mathbb {E}(X), \sigma^{2}=\mathbb {V}(X) $, 则 $$ \mathbb{P}(|X-\mu| \geqslant t) \leqslant \dfrac{\sigma^{2}}{t^{2}}, \quad \mathbb{P}(|Z| \geqslant k) \leqslant \dfrac{1}{k^{2}}, $$ 其中，$ Z=(x-\mu) / \sigma $, 特别地，$ \mathbb {P}(|Z|>2) \leqslant 1 / 4, \mathbb {P}(|Z|>3) \leqslant 1 / 9 $.

收敛的类型 定义 令 $ X_{1}, X_{2}, \cdots $, 为随机变量序列，$ X $ 为另一随机变量，令 $ F_{n} $ 表示 $ X_{n} $ 的 CDF, $ F $ 表示 $ X $ 的 CDF. 依概率收敛 如果对任意 $ \varepsilon>0 $, 当 $ n \rightarrow \infty $ 时有 $$ \mathbb{P}\left(\left|X_{n}-X\right|>\varepsilon\right) \rightarrow 0 $$ 则称 $ X_{n} $ 依概率收玫于 $ X $, 记为 $ X_{n} \stackrel {P}{\rightarrow} X $. 依分布收敛 如果对 $ F $ 的所有连续的点 $ t $, 有

参数与非参数模型 统计推断（Statistical inference），在计算机科学中也称为学习，是利用数据推测其分布的方法。即给定样本 $X_1 , X_2,\cdots , X_n \sim F$ ，推断出 $F$ 我们观测到的相关随机变量值 $\mathbf {X} = (X_1 , X_2,\cdots , X_n)$ 称为 观测值、测量值、观测向量（observation） 参数化模型（parametric model）能够通过一组有限参数描述。 非参数化模型：有限参数无法描述。 参数模型的通用形式： $$ \mathfrak{F} = \left\{ f(x; \theta) : \; \theta \in \Theta \right\} $$ $\theta$ 是一个未知参数，其可以在 参数空间（parameter space） $\Theta$ 中取值. 若 $\theta $ 是向量，则其中我们不关心的分量称为 冗余参数。 若有分布 $X_1, \cdots ,X_n \sim F$ ，则任何 $F$ 的函数称为 统计泛函 假设我们有数据对 $ (X_1, Y_1) , \cdots (X_n, Y_n) $ 。假设 $X_i$ 表示病人 $i$ 的血压，$Y_i$ 表示病人的寿命。

令 $X_1, \cdots ,X_n \sim F$ 为 IID 样本，其中 $F$ 是在实线上的分布函数。可以用经验分布函数估计 $F$ 。 定义 经验分布函数（empirical distribution function）$\hat {F}_ {n}$ 是指在每一个数据点 $X_{i}$ 上的概率密度为 $\frac {1}{n}$ 的 $\mathrm {CDF}$, 用公式表示为 $$ \hat{F}_{n}(x)=\frac{\sum_{i=1}^{n} I\left(X_{i} \leqslant x\right)}{n} $$ 其中， $$ I\left(X_{i} \leqslant x\right)= \begin{cases}1, & X_{i} \leqslant x \\ 0, & X_{i}>x\end{cases} $$ “在实线上”，意味着定义域是 $\mathbb {R} $ 分布函数，其实就是 CDF 上面的定义可能不太好理解。结合推导讲讲。 首先，函数的输入值是 $t$ ，表示数量上限。函数值 $\hat {F}_n (t)$ ，表示 样本中，值小于 $t$ 的样本占整体比重的多少。如何得到其解析式呢？很简单：

Booststrap (自助法) 方法是一种估计标准差和计算置信区间的方法。 令 $ T_{n}=g\left (X_{1}, \ldots, X_{n}\right) $ 是一个统计量（statistic），也就是说， $ T_{n} $ 是数据的任意函数。假定我们想估计 $ T_{n} $ 的方差 $ \mathbb {V}_{F}\left (T_{n}\right) $ 。例如，如果 $ T_{n}=\bar {X}_{n} $ ，那么 $ \mathbb {V}_{F}\left (T_{n}\right)=\sigma^{2} /n $, 其中 $ \sigma^{2}=\int (x-\mu)^{2} d F (x) $, 且 $ \mu=\int x d F (x) $ 。这样，$ T_{n} $ 的方差是 $ F $ 的函数。 使用下标 $ F $ 强调 这个方差通常取决于末知的分布函数 $ F $

考虑参数化模型， $$ \mathfrak{F}=\{f(x ; \theta): \theta \in \Theta\} $$ 其中 $ \Theta \subset \mathbb {R}^{k} $ 是参数的空间， $ \theta=\left (\theta_{1}, \ldots, \theta_{k}\right) $ 是参数。 参数推理的问题就归结为估计参数 $ \theta $ 的问题。 常见的问题：如何确定生成数据的分布是哪种参数化模型呢？难！参数 化模型的优势： 有先验知识可以知道数据近似服从某种参数化模型。如，交通事故发 生的次数近似服从泊松分布。 参数化模型的推断为理解非参数方法提供了背景知识。 这样，我们还是要学习参数化模型。 关注参数 人们通常只关注某个函数 $ T (\theta) $ 。例如，如果 $ X \sim N\left (\mu, \sigma^{2}\right) $ 的分布，那么 参数为 $ \theta=(\mu, \sigma) $ 。如果我们的目标是估计 $ \mu $ ，那么 $ \mu=T (\theta) $ 为关注参数（parameter of interest）, $ \sigma $ 为冗余参数 (nuisance parameter)。

正态分布 $$ f(x)=\frac{1}{\sigma \sqrt{2 \pi}} \exp \left\{-\frac{1}{2 \sigma^{2}}(x-\mu)^{2}\right\}, \quad x \in \mathbb{R} $$ $$ \begin{array}{lll} \text{Distribution} & \text{Mean} & \text{Variance} \\ \hline \text{Point mass at } p & a & 0 \\ \text{Bernoulli}(p) & p & p(1-p) \\ \text{Binomial}(n, p) & np & np(1-p) \\ \text{Geometric}(p) & 1/p & (1 - p)/p^2 \\ \text{Poisson}(\lambda) & \lambda & \lambda \\ \text{Uniform}(a, b) & (a + b) / 2 & (b - a)^2 / 12 \\ \text{Normal}(\mu, \sigma^2) & \mu & \sigma^2 \\ \text{Exponential}(\beta) & \beta & \beta^2 \\ \text{Gamma}(\alpha, \beta) & \alpha \beta & \alpha \beta^2 \\ \text{Beta}(\alpha, \beta) & \alpha / (\alpha + \beta) & \alpha \beta / ((\alpha + \beta)^2 (\alpha + \beta + 1)) \\ t_\nu & 0 \text{ (if } \nu > 1 \text{)} & \nu / (\nu - 2) \text{ (if } \nu > 2 \text{)} \\ \chi^2_p & p & 2p \\ \text{Multinomial}(n, p) & np & \text{see below} \\ \text{Multivariate Nornal}(\mu, \Sigma) & \mu & \Sigma \\ \end{array} $$ $$ \begin{equation} \begin{array}{ll}\text { Distribution } & \mathrm{MGF} \psi(t) \\ \hline \operatorname{Bernoulli}(p) & p e^{t}+(1-p) \\ \operatorname{Binomial}(n, p) & \left(p e^{t}+(1-p)\right)^{n} \\ \operatorname{Poisson}(\lambda) & e^{\lambda\left(e^{t}-1\right)} \\ \operatorname{Normal}(\mu, \sigma) & \exp \left\{\mu t+\dfrac{\sigma^{2} t^{2}}{2}\right\} \\ \operatorname{Gamma}(\alpha, \beta) & \left(\dfrac{1}{1-\beta t}\right)^{\alpha} \text { for } t<1 / \beta\end{array} \end{equation} $$ Dist Mean Var $\mathbb{E}(X^2)$ PDF/PMF CDF $M_X(t)$ $M_X'(t)$ $M_X''(t)$ $\text{Bernoulli}(p) $ $p$ $p(1-p)$ $p^x (1-p)^{1-x}$ $pe^t + (q-p)$ $\text{Binomial}(n, p) $ $np$ $np(1-p)$ ${n \choose k}p^{k}(1-p)^{n-k}\!

什么是极大似然估计 极大似然估计是求怎样的参数可使观测值发生概率最大。 后面的一切都是从这个思想展开。 即最优化问题： $$ \hat{\theta}_{n}=\arg \max _{\theta} p_{X}\left(x_{1}, \cdots, x_{n} ; \theta\right) $$ 或（对于连续随机变量） $$ \hat{\theta}_{n}=\arg \max _{\theta} f_{X}\left(x_{1}, \cdots, x_{n} ; \theta\right) $$ 如何运用呢？ 通过例子理解 Bernoulli 分布 假设有不均匀硬币，观测向量 $\mathbf {A} = X_1, \cdots ,X_n$（$X_i = 1$ 表示正面向上，$X_i = 0$ 表示反面向上 ）。显然 $\mathbf {A}$ 发生的概率是是每次投掷事件的概率的乘积。假设正面概率是 $p$ ，则： $\mathbb{P}(X = \mathbf{A}) = p^k(1 -p)^{n-k}$ 我们的目标是求出 $\mathbb {P}(X = \mathbf {A})$ 最大时，参数 $p$ 的值。方便起见，求对数（因为不影响其单调性）： $$ \mathcal{L}_n(p) = \ln ( \mathbb{P}(A) ) = k \ln p + (n-k)\ln (1-p) $$ 为了求其极值时 $p$ 的取值，求导（注意 1 - p 求导后符号改变）。