数学笔记：概率、期望
期望（Expectation）的定义
如果X是在概率空间 (\Omega, F, P) 中的随机变量，那么它的期望值\mathrm{E}(X)的定义是：
\mathrm{E}(X) = \int_\Omega X \mathrm{d}P
如果两个随机变量的分布相同，则它们的期望值也相同。
离散型：
如果X是离散的随机变量，输出值为x_1, x_2, \ldots，和输出值相应的概率为p_1, p_2, \ldots（概率和为1）。若级数\sum_i p_ix_i绝对收敛，那么期望值\mathrm{E}(X)是一个无限数列的和：
\mathrm{E}(X) = \sum_i p_ix_i
连续型：
如果X是连续的随机变量，存在一个相应的概率密度函数f(x)，若积分\int_{-\infty}^\infty xf(x) \mathrm{d}x绝对收敛，那么X的期望值可以计算为：
\mathrm{E}(X) = \int_{-\infty}^\infty xf(x) \mathrm{d}x
期望的性质
- \mathrm{E}(K) = K，K是任意实数
- \mathrm{E}(KX) = K\mathrm{E}(X)，X是随机变量，K是任意实数
- \mathrm{E}(X+Y) = \mathrm{E}(X) + \mathrm{E}(Y)，X和Y是在同一概率空间的两个随机变量
- 如果X和Y独立，则\mathrm{E}(XY) = \mathrm{E}(X)\mathrm{E}(Y)
- \mathrm{E}(X) = \mathrm{E}(\mathrm{E}(X|Y))
随机变量的独立与相关
两个事件A和B是独立的当且仅当\mathrm{P}(A, B) = \mathrm{P}(A)\mathrm{P}(B)。
当\mathrm{E}(XY) = \mathrm{E}(X)\mathrm{E}(Y)成立时，随机变量X和Y的协方差为0，又称它们不相关。
不相关的两个随机变量不一定独立。
全概率公式（Law of total probability）
假设{Bn: n = 1, 2, 3, …}是一个概率空间的有限或者可数无限的分割（既Bn为一完备事件组），且每个集合Bn是一个可测集合，则对任意事件A有全概率公式：
\mathrm{P}(A) = \sum_n \mathrm{P}(A, B_n)
又可以写成
\mathrm{P}(A) = \sum_n \mathrm{P}(A | B_n) \mathrm{P}(B_n)
还有
\mathrm{P}(A) = \mathrm{E}(\mathrm{P}(A | N))
此处N是任意随机变量。
全期望公式（Law of total expectation）
设X,Y为随机变量，下列期望和条件期望均存在，则
\mathrm{E}(X) = \mathrm{E}(\mathrm{E}(X|Y))
以及
\mathrm{E}(X) = \sum_i \mathrm{E}(X|A_i) \mathrm{P}(A_i)
贝叶斯定理（Bayes’ theorem）
\mathrm{P}(A, B) = \mathrm{P}(A)\mathrm{P}(B|A) = \mathrm{P}(B)\mathrm{P}(A|B)
因此有
\mathrm{P}(B|A) = \frac{\mathrm{P}(B)\mathrm{P}(A|B)}{\mathrm{P}(A)}
先验概率和后验概率
在贝叶斯统计中，某一不确定量p的先验概率分布是在考虑”观测数据”前，能表达p不确定性的概率分布；一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。
举个例子：有两个事件A与B，P(A|B)就是A的后验概率，而P(A, B)就是A的先验概率。
这两者的关系：P(A|B) = \frac{P(A, B)}{P(B)}
我们可以用先验概率和后验概率来定义先验期望等概念。
