概率基础

约 734 个字 预计阅读时间 2 分钟 总阅读量 次

这个链接对于撰写贝叶斯定理和应用的部分有较大帮助，置顶感谢🙏；

全概率 / 贝叶斯公式

• 全概率公式： \(P(A) = \sum \limits^{n}_{i = 1} P(B_i | A) P(B_i)\)
• 条件概率公式: \(P(B_i | A ) = \dfrac{P(A B_i)}{P(A)}\)

\(A\) 是实验中的一个事件，\(B_i\) 是样本空间的一个划分，规定其概率均不为0；有：

• 贝叶斯公式： \(P(B_i | A) = \dfrac{P(B_i) P(A | B_i)}{ \sum \limits^{n}_{j=1} P(B_j) P(A | B_j)}\)
  • \(P(B_i)\) 是先验概率，
  • \(P(A | B_i)\)是已知B_i发生后A的后验概率；
  • \(P(B_i | A)\)是已知A发生后B_i的后验概率；
  • \(Pr(B)\)【分母】是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

先验概率

若事件\(B1, B2, …, Bn\) 是引起事件 \(A\) 发生的 \(n\) 个原因，它们的概率 \(P(Bi) (i=1, 2, …, n)\) 是在对 \(A\) 观察前就已知的，因此通常叫做==先验概率==。

后验概率

如果在一次试验中，事件 \(A\)（结果）发生了，那么反过来：\(A\) 的发生==是由第 \(i\)个原因引起的概率 \(P(Bi|A)\) 是==多少？这就是贝叶斯公式解决的问题。通常称 \(P(Bi|A) (i=1, 2, …, n)\)为后验概率。

分析

全概率公式是“由因导果”的一个过程，贝叶斯公式则是“由果溯因”的一个推断公式。

---

独立性

• \(P(AB) = P(A) P(B)\) ，也就是，\(P(B | A) = P(B)\)
• 两事件共同发生的概率 \(= A\)发生的概率 $* B $发生的概率，那么两个事件相互独立；
• 事件独立性：对于\(A_1, ... ,A_n\)，一共n个事件，如果对于其中任意\(2/3/4/5.../n\)个事件的积事件的概率等于他们发生的概率的积，那么这\(n\)个事件相互独立；
• 随机变量的独立性：
  • 对于连续的随机变量\((X,Y)\)，如果他们的联合分布函数 = X的分布函数 * Y的分布函数，就说他们是相互独立的；
  • 上述同样可以表述为，如果他们的联合概率密度 = X的边缘概率密度 * Y的边缘概率密度，那么说他们相互独立；

区分一下相关性和独立性：

• 独立一定不相关，表明多个随机变量之间没有关系；
• 但是不相关不一定独立，因为不相关只是说明了两随机变量之间没有线性关系，还有可能有其他关系，比如\(X \sim N(0,1), Y = X^2\)，此时两者不独立，但是他们的相关性系数 = 0；
• 相关是一种线性关系，而独立是一种一般关系

边缘概率分布/概率密度

• 在多维随机变量中，仅考虑其中部分变量的概率分布；可以起到一个降维的作用。