前言

1 第一章 概率论引论 总结

第一章从事件的角度引出样本空间、事件、概率的基本定义，并且介绍条件概率、独立性，贝叶斯公式的事件形式

1.1 样本空间与事件

样本（sample）：某次试验的可能结果（outcome）
样本空间（sample space）：所有样本的可能结果
事件（event）：样本空间的一个 子集

1.2 定义在事件上的概率

1. 概率定义
   概率定义（probabiliity）：概率是定义在事件上的函数 ，需要满足以下条件
   (i) $0⩽\mathrm{P}(E)⩽1$.
   (ii) $\mathrm{P}(S)=1$.
   (iii) 对于任意互不相容的事件序列 $E_1,E_2,\cdots$, 即当 $n\ne m$ 时 $E_n{E}_m=\varnothing$ 的事 件序列, 有
   $$\mathrm{P}\left(\bigcup _{n=1}^{\infty }{E}_n\right)=\sum _{n=1}^{\infty }\mathrm{P}\left(E_n\right)$$
   我们将 $\mathrm{P}(E)$ 称为事件 $E$ 的概率.

注意条件三，他给了我们 在事件独立时求和概率的一个公式

2. 容斥恒等式
   $$\begin{array}{rl}\mathrm{P}\left(E_1\cup E_2\cup \cdots \cup E_n\right)=& \sum _i\mathrm{P}\left(E_i\right)-\sum _{i<j}\mathrm{P}\left(E_i{E}_j\right)+\sum _{i<j<k}\mathrm{P}\left(E_i{E}_j{E}_k\right)-\\ & \sum _{i<j<k<l}\mathrm{P}\left(E_i{E}_j{E}_k{E}_l\right)+\cdots +(-1{)}^{n+1}\mathrm{P}\left(E_1{E}_2\cdots E_n\right)\end{array}$$

1.3 条件概率

$$\mathrm{P}(E\mid F)=\frac{\mathrm{P}(EF)}{\mathrm{P}(F)}$$

1.4 独立事件

1. 独立的定义
   如果
   $$\mathrm{P}(EF)=\mathrm{P}(E)\mathrm{P}(F)$$
   那么两个事件 $E$ 和 $F$ 称为独立的(independent). 由公式 (1.5), 这蕴涵了如果
   $$\mathrm{P}(E\mid F)=\mathrm{P}(E)$$
   那么 E 和 F 也是独立的

这反过来也成立

注意：两两独立不一定联合独立
例 1.10 (不独立的两两独立事件) 假定从装有号码分别为 $1,2,3,4$ 的 4 个球的瓮中 抽取一个球. 设 E = { 1 , 2 } , F = { 1 , 3 } , G = { 1 , 4 } E=\{1,2\}, F=\{1,3\}, G=\{1,4\} E={1,2},F={1,3},G={1,4}. 如果所有 4 个结果都是等可能 的, 那么
$$\begin{array}{rl}& \mathrm{P}(EF)=\mathrm{P}(E)\mathrm{P}(F)=\frac{1}{4}\\ & \mathrm{P}(EG)=\mathrm{P}(E)\mathrm{P}(G)=\frac{1}{4}\\ & \mathrm{P}(FG)=\mathrm{P}(F)\mathrm{P}(G)=\frac{1}{4}\end{array}$$
然而
$$\frac{1}{4}=\mathrm{P}(EFG)\ne \mathrm{P}(E)\mathrm{P}(F)\mathrm{P}(G)$$
因此, 即使事件 $E,F,G$ 是两两独立的, 它们并非是联合独立的.

2. 独立随机试验：假定有一个试验序列, 每个试验的结果或者是 “成功” 或者是 “失败”. 以 $E_i(i⩾$ 1) 记第 $i$ 个试验的结果是成功这一事件. 如果对于所有的 $i_1,i_2,\cdots ,i_n$,
   $$\mathrm{P}\left(E_{i_1}{E}_{i_2}\cdots E_{i_n}\right)=\prod _{j=1}^n\mathrm{P}\left(E_{i_j}\right)$$
   我们就说这个试验序列由独立的试验(independent trails) 组成.

2 一些有用的重要结论/公式/例题

1. 概率定义：若事件互不相容则
   $$\mathrm{P}\left(\bigcup _{n=1}^{\infty }{E}_n\right)=\sum _{n=1}^{\infty }\mathrm{P}\left(E_n\right)$$

2. 容斥恒等式：容斥恒等式说明了事件的和可以从每个事件的概率和每个事件的交集求得
   $$\begin{array}{rl}\mathrm{P}\left(E_1\cup E_2\cup \cdots \cup E_n\right)=& \sum _i\mathrm{P}\left(E_i\right)-\sum _{i<j}\mathrm{P}\left(E_i{E}_j\right)+\sum _{i<j<k}\mathrm{P}\left(E_i{E}_j{E}_k\right)-\\ & \sum _{i<j<k<l}\mathrm{P}\left(E_i{E}_j{E}_k{E}_l\right)+\cdots +(-1{)}^{n+1}\mathrm{P}\left(E_1{E}_2\cdots E_n\right)\end{array}$$

3. 条件概率公式

$$\mathrm{P}(E\mid F)=\frac{\mathrm{P}(EF)}{\mathrm{P}(F)}$$

3. 独立随机试验：假定有一个试验序列, 每个试验的结果或者是 “成功” 或者是 “失败”. 以 $E_i(i⩾$ 1) 记第 $i$ 个试验的结果是成功这一事件. 如果对于所有的 $i_1,i_2,\cdots ,i_n$,
   $$\mathrm{P}\left(E_{i_1}{E}_{i_2}\cdots E_{i_n}\right)=\prod _{j=1}^n\mathrm{P}\left(E_{i_j}\right)$$
   我们就说这个试验序列由独立的试验(independent trails) 组成.

这个式子在许多领域都有很多应用，例如机器学习时，如果样本为 i.i.d 即独立同分布的，从总体中抽取n个样本作为数据集$X$ 的概率即为
$$\mathrm{P}(X)=\prod _{i=1}^n\mathrm{P}\left(x_i\right)$$

3 重要例题

例 1.11

有 $r$ 个参赛人, 其中参赛人 $i(i=1,\cdots ,r)$ 在开始时有 $n_i\left(n_i>0\right)$ 个 单位 (财富). 在每一阶段参赛人中的两个被选中比赛, 赢者从输者那里得到一个 单位. 任何参赛人, 当他的财富减少到 0 时就退出, 如此继续, 直至某个参赛人占 有所有的 $n={\sum }_{i=1}^r{n}_i$ 个单位为止, 此参赛人就是胜利者. 假定相继比赛的结果 是独立的, 而且在每次比赛中两个参赛人等可能地获胜, 求参赛人 $i$ 是胜利者的 概率.

解:

1. 首先, 假定有 $n$ 个参赛人, 每人在开始时有 1 个单位. 考虑参赛人 $i$. 在各阶 段他以相等的可能或者赢一个单位或者输一个单位, 各阶段的结果是独立的. 此外, 他将继续参赛直到他的财富是 0 或者是 $n$. 因为对所有的参赛人是一样的, 这就推 出每个人都有同样的机会成为胜利者. 因此, 每个参赛人以概率 $1/n$ 是胜利者.
2. 现 在, 假设 $n$ 个参赛人分成 $r$ 组, 其中第 $i$ 组有 $n_i$ 人, $i=1,\cdots ,r$. 也就是, 参赛人 $1,\cdots ,n_1$ 组成第一组, 参赛人 $n_1+1,\cdots ,n_1+n_2$ 组成第二组, 依此类推. 那么, 胜 利者在第 $i$ 组的概率是 $n_i/n$. 但是, 因为第 $i$ 组在开始时的全部财富有 $n_i$ 个单位, $i=1,\cdots ,r$, 而每次比赛由不同组的成员参赛, 这就导致: 赢者所在的组的财富增加 一个单位, 同时, 输者所在的组的财富减少一个单位,每个组里的每个人都有同样的机会成为胜利者，因此每个组胜利的概率为每个组的人数即可以看出第i组胜利的概率为： $n_i/n$.

3 习题题解

知识点	题目	3.
样本空间与事件	1,2,3,4,5,6,7,8

题1

1. 盒中有红、绿、蓝三个弹球. 考察如下试验, 从盒中取一个弹球, 然后放回去, 再从盒中取第 二个弹球. 此试验的样本空间是什么? 如果在任意情形下, 盒中的每个弹球都是等可能地 被抽取的, 那么样本空间的每一个点的概率是多少?

使用R，G，B表示取出的星红、绿、蓝 球，样本空间为：
$$S=\{(R,R),(R,G),(R,B),(G,G),(G,B),(G,R),(B,B)(B,G),(B,R)\}$$
所有样本等概, 故样本空间每一个点的概率为 $\frac{1}{9}$

题2

${}^{\ast }$ 2. 在取第二个弹球前不放回第一个弹球时, 重做习题 1.

3. 抛掷一枚硬币直至正面接连地出现两次. 此试验的样本空间是什么? 如果硬币是均匀的, 问 抛掷次数恰为 4 的概率是多少?

4. 设 $E,F,G$ 是三个事件. 求 $E,F,G$ 的下列事件的表达式.
   (a) 只有 $F$ 发生.
   (b) $E,F$ 都发生, 但是 $G$ 不发生.
   © 至少一个事件发生.
   (d) 至少两个事件发生.
   (e) 三个事件都发生.
   (f) 三个事件都没有发生.
   (g) 至多一个事件发生.
   (h) 至多两个事件发生.

*5. 一个人在拉斯维加斯使用下面的赌博方法, 他下注 1 美元于轮盘赌的红色. 如果他歆了, 他 就离开. 如果他输了, 他再赌一次红色并下注 2 美元. 然后不管什么结果, 他都离开. 假定 他每次下注赢的概率都是 $1/2$. 他回家时是樂家的概率是多少? 为什么这一赌博方法并未 被每个人采用?
5. 证明 $E(F\cup G)=EF\cup EG$.
6. 证明 $(E\cup F{)}^{\mathrm{c}}=E^{\mathrm{c}}{F}^{\mathrm{c}}$.
7. 若 $\mathrm{P}(E)=0.9$ 且 $\mathrm{P}(F)=0.8$, 证明 $\mathrm{P}(EF)⩾0.7$. 一般地, 证明
$$\mathrm{P}(EF)⩾\mathrm{P}(E)+\mathrm{P}(F)-1$$
这称为邦费罗尼不等式(Bonferroui’s inequality).
${}^{\ast }$ 9. 如果 $E$ 中的每个点都在 $F$ 中, 我们就说 $E\subset F$. 证明：若 $E\subset F$, 则
$$\mathrm{P}(F)=\mathrm{P}(E)+\mathrm{P}\left(F{E}^c\right)⩾\mathrm{P}(E)$$

4 习题总结