从数学结构的根基建立概率的世界。

样本空间和事件

样本空间 ($\Omega$) 一个试验的可能结果集合。其中每个结果称为样本结果 (points, sample outcomes, realizations, or elements). $\Omega$ 的子集称为 事件 (events)

事件互斥 (disjoint, or mutually exclusive):几个事件交集为空。

集合序列的单调性:就是 $A_1 \subset A_2 \subset \cdots A_3$ ,则集合序列 $A_n$ 单调递增(monotone increasing)。

概率

我们用 $\mathbb {P}(A)$ 表示事件 $A$ 发生的概率。$\mathbb {P}$ 成为概率分布或概率测度(probability distribution or a probability measure)

和的概率引理:$P (A+B) = P (A)+P (B) - P (AB)$

想象图形方便记忆。推导同理

定义函数 $\mathbb {P}(A)$ 是一个概率分布或者概率测度如果满足:

公理 1: $\mathbb {P}(A) \geq 0$ for every $A$ 公理 2: $\mathbb {P}(\Omega)=1$ 公理 3: If $A_{1}, A_{2}, \ldots$ are disjoint then

$$ \mathbb{P}\left(\bigcup_{i=1}^{\infty} A_{i}\right)=\sum_{i=1}^{\infty} \mathbb{P}\left(A_{i}\right) $$

由此可以推出:

  1. $\mathbb{P}(\varnothing) = 0$ 因为 $\mathbb {P}(\Omega) + \mathbb {P}(\varnothing) = \mathbb {P}(\Omega) \Rightarrow \mathbb {P}(\varnothing) = 0$
  2. $A \subset B \Rightarrow \mathbb{P}(A) \leq \mathbb{P}(B)$ 因为 $\mathbb {P}(A) + \mathbb {P}(B - A) = \mathbb {P}(B) \Rightarrow \mathbb {P}(A) \leq \mathbb {P}(B)$
  3. $0 \leq \mathbb{P}(A) \leq 1$
  4. $\mathbb{P}\left(A^c\right) = 1 - \mathbb{P}(A)$
  5. $A \cap B = \varnothing \Rightarrow \mathbb{P}(A \cup B) = \mathbb{P}(A) + \mathbb{P}(B)$ 划分的性质。

概率连续性定理(Continuity of Probabilities):

若 $A_n \to A$,则当 $n \to \infty$ 时 $P (A_n) \to P (A)$

有限样本空间的概率

$$ P(A) = \dfrac{|A|}{|\Omega|} $$

如果所有结果可能性相同,成为均匀分布(uniform probability distribution)

独立事件

若 $P (AB) = P (A) P (B)$ 则事件 $A, B$ 独立。

条件概率

$P(A|B) = \dfrac{P(AB)}{P(B)}$

引理:

$\mathbb{P}(A B)=\mathbb{P}(A \mid B) \mathbb{P}(B)=\mathbb{P}(B \mid A) \mathbb{P}(A)$

1.7 Bayes 定理

总概率定理 (The Law of Total Probability):

$\mathbb{P}(B)=\sum_{i=1}^{k} \mathbb{P}\left(B \mid A_{i}\right) \mathbb{P}\left(A_{i}\right)$

其中 $A_1 + A_2+\cdots + A_k$ 是 $\Omega $ 的划分。

【重要】贝叶斯定理 (Bayes’ Theorem)

$\mathbb{P}\left(A_{i} \mid B\right)=\dfrac{\mathbb{P}\left(B \mid A_{i}\right) \mathbb{P}\left(A_{i}\right)}{\sum_{j} \mathbb{P}\left(B \mid A_{j}\right) \mathbb{P}\left(A_{j}\right)}$

先验概率 (prior probability): 上式中的 $P (A_i)$

例子;

$P (A)$ 吃华莱士的概率

$P (A^C)$ 没吃华莱士的概率

$P (B|A)$ 吃华莱士的情况下拉肚子的概率

$P (B|A^C)$ 没吃华莱士的情况下拉肚子的概率

则拉肚子之前吃过华莱士的概率是:

$$ P(A|B) = \dfrac{P(B|A) P(A)}{P(B)} = \dfrac{P(B|A) P(A)}{P(B|A) P(A) + P(B|A^C)P(A^C)} $$

习题

♞1

Fill in the details in the proof of Theorem 2.8. Also, prove the monotone decreasing case.

定理:If $A_n \rightarrow A$ then $\mathbb {P}(A_n) \rightarrow \mathbb {P}(A)$ as $n \rightarrow \infty$.

证明:假设 $A_i$ 单增

$B_1 = A_1$

$ B_2 = \{\omega \in \Omega : \omega \in A_2 \wedge \omega \not\in A_1\}$

$ B_3 = \{\omega \in \Omega : \omega \in A_3\wedge \omega \not\in A_2 \wedge \omega \not\in A_1 \}$

据此可知 $B_1, B_2, B_3$ disjoint.

于是根据 公理 3 $\mathbb {P}(A_n) = \sum_{i=1}^{n} \mathbb {P}(B_i)$

因此

$$ \lim_{n\to\infty} \mathbb{P}(A_n) = \lim_{n\to\infty} \sum_{i=1}^{n} \mathbb{P}(B_i) = \sum_{i=1}^{+\infty } \mathbb{P}(B_i) = \mathbb{P}(A) $$

单减的情况 假设 集合序列 $A_i$ 单调递减。令:

$B_1 = A_1$

$B_2 = A_2 - B_1$

$B_n = A_n - B_{n-1}$

则 $B_1 , B_2,\cdots , B_n$ 不相交。根据公理 3,有: $\mathbb {P}(A_n) = \sum_{i=1}^{n} \mathbb {P}(B_i)$ 后面就一样了,不重复写。

♞2

Prove the statements in equation (2.1).