事件

随机试验(experiment):一个可以无限重复、结果集已知、试验前结果不可预测的试验。

进行一百次投硬币,每次投掷是一次随机试验。

可以认为随机试验是一段代码,执行这个代码产生的结果不可预测,但结果构成了一个集合(样本空间)。并且我们可以无限重复运行这段代码,统计结果中蕴含的规律。

样本空间(sample space):运行随机试验程序,所产生的各种可能输出构成的集合。

样本点:随机试验的实例化,一次随机试验的结果。

随机事件(event):样本空间的一种子集。

事件发生:如果随机试验产生的样本点位于随机事件中,则此事件发生。

如果运行投骰子程序,样本空间为 $[1, 6] \in \mathbb {Z}$,则我们可以选取 $A = \{1,2\}$ 作为一个随机事件。如果有一次运行结果是 $1$,则事件 A 发生了。

必然事件:样本空间自身。

不可能事件:空集。

事件关系

相等事件:事件的互包含。

和事件:事件的并。

积事件:事件的交。

差事件:事件的差。

互斥事件:事件的不相交。

逆事件(对立事件):两事件构成样本空间的一个划分。

频率、概率

频数(frequency):事件发生次数。

注:和物理学不一样,物理学的 frequency 是单位时间的频数。

事件 A 发生的频率,又称经验概率,相对频率,试验概率(empirical probability, relative frequency, or experimental probability): $n$ 次试验中事件 A 的频数。

概率函数:实函数 $P: \Omega \to R$,且满足三条件:函数值非负、规范($f (\Omega) = 1$),互斥事件相和的概率等于互斥事件的概率相加。

事件 A 的概率:概率函数作用于 A 上的值 $P (A)$

古典概型:如果一个随机试验所包含的单位事件是有限的,且每个单位事件发生的可能性均相等,则这个随机试验叫做拉普拉斯试验,这种条件下的概率模型就叫古典概型。

条件概率(后验概率):在事件 B 发生的条件下,事件 A 发生的概率。定义式:

$$ P(A|B)={\frac {P(A\cap B)}{P(B)}} $$

事件 B 发生,意味着样本点落在了 B 中,那么 A 发生的概率,就是说样本点落在的位置恰好也在 A 中这样结果的可能性。这种结果反映在样本空间中就是 A 与 B 的交集。

推论:乘法定理 $P (AB) = P (B|A) P (A)$ 其中 $P (A)>0$

P (AB) 是样本点落在 AB 交集的概率。要落在交集,则必须是以下两种情况之一:

  1. 落在了 A 中,且落点恰好也在 B 中。$P (A) P (B|A)$
  2. 落在了 B 中,且落点切好也在 A 中。$P (B) P (A|B)$

全概率公式:$B_i$ 是样本空间的划分。则

$P(A) = \sum_{i = 1}^{n} P(A \mid B_i) P(B_i)$

P (A) 是样本点落在 A 的概率。可以看成乘法定理中 B 被分割成了 $n$ 部分,所以要求出 $P (A)$,就要把各部分的概率加起来。而 B = 1,所以 $P (AB) = P (A \cdot 1) = \sum_{}^{} P (B_i) P (A|B_i)$

不独立性:若 B 的发生导致 $P (A)$ 改变。这说明 $P (A) \neq P (A \mid B)$,意味着 A 不独立于 B。

独立事件:如果 A,B 独立,则 $P (A) = P (A \mid B)$,代入条件概率公式可得:$P (A B) = P (A) P (B)$,这是 A,B 相互独立的充要条件。

相互独立事件的韦恩图:根据定义,$P (A \mid \Omega) = P (A \mid B)$,即 $A$ 占整体的比例等于 $A$ 占 B 的比例(即等于 $A \cap B$ 占 $B$ 的比例)。

推论:显然 A B 相互独立,则 $\overline {A} \overline {B}$ 相互独立。而 $B$ 与 $\overline {B}$ 相互对立,则 $A, \overline {B}$ 相互独立,同理 $B, \overline {A}$ 相互独立。

这里要解释一下,$P (A \bar {B})=P (A)[1-P (B)]=P (A) P (\bar {B})$

推广:三个事件的相互独立的充要条件:

$$ \left.\begin{array}{l} P(A B)=P(A) P(B), \\ P(B C)=P(B) P(C), \\ P(A C)=P(A) P(C), \\ P(A B C)=P(A) P(B) P(C) \end{array}\right\} $$

d