$ 4.1 $ 定理 (马尔可夫 (Markov) 不等式) 令 $ X $ 为一非负随机变量，假设 $ \mathbb {E}(X) $ 存在，对任意 $ t>0 $ 有

$$ \mathbb{P}(X>t) \leqslant \dfrac{\mathbb{E}(X)}{t} $$

$ 4.2 $ 定理 (切比雪夫 (Chebyshev) 不等式) 令 $ \mu=\mathbb {E}(X), \sigma^{2}=\mathbb {V}(X) $, 则

$$ \mathbb{P}(|X-\mu| \geqslant t) \leqslant \dfrac{\sigma^{2}}{t^{2}}, \quad \mathbb{P}(|Z| \geqslant k) \leqslant \dfrac{1}{k^{2}}, $$

其中，$ Z=(x-\mu) / \sigma $, 特别地，$ \mathbb {P}(|Z|>2) \leqslant 1 / 4, \mathbb {P}(|Z|>3) \leqslant 1 / 9 $.

$ 4.4 $ 定理 (霍夫丁 (Hoeffding) 不等式) 令 $ Y_{1}, \cdots, Y_{n} $ 为独立观察值，满足 $ \mathbb {E}\left (Y_{i}\right)=0 $, 且 $ a_{i} \leqslant Y_{i} \leqslant b_{i} $. 今 $ \varepsilon>0 $, 则对于任意 $ t>0 $ 有

$$ \mathbb{P}\left(\sum_{i=1}^{n} Y_{i} \geqslant \varepsilon\right) \leqslant \mathrm{e}^{-t \varepsilon} \prod_{i=1}^{n} \mathrm{e}^{t^{2}\left(b_{i}-a_{i}\right)^{2} / 8} . $$

$ 4.5 $ 定理 令 $ X_{1}, \cdots, X_{n} $ 服从参数为 $ p $ 的伯势利分布，则对于任意 $ \varepsilon>0 $ 有 $ \mathbb {P}\left (\left|\bar {X}_{n}-p\right|>\varepsilon\right) \leqslant 2 \mathrm {e}^{-2 n \varepsilon^{2}} $, 其中，$ \bar {X}_{n}=n^{-1} \sum_{i=1}^{n} X_{i} $.

$ 4.7 $ 定理 (c (Mill) 不等式) 令 $ Z \sim N (0,1) $, 则

$$ \mathbb{P}(|Z|>t) \leqslant \sqrt{\dfrac{2}{\pi}} \dfrac{\mathrm{e}^{-t^{2} / 2}}{t} . $$