跳转至

第 6 章 大数定律及中心极限定理 知识点整理⚓︎

约 1496 个字 预计阅读时间 5 分钟 总阅读量 次

本章核心

两大主题：

  1. 大数定律 (LLN)：随机变量序列的算术平均值依概率收敛于数学期望
  2. 中心极限定理 (CLT)：大量独立随机变量之和的分布逼近于正态分布

1. 依概率收敛 (Convergence in Probability)⚓︎

1.1 定义⚓︎

设 \(\{X_n\}\) 是一随机变量序列，\(X\) 是一随机变量。若对任意 \(\varepsilon > 0\)，恒有：

\[ \lim_{n \to \infty} P\{|X_n - X| < \varepsilon\} = 1 \]

或等价地：

\[ \lim_{n \to \infty} P\{|X_n - X| \ge \varepsilon\} = 0 \]

则称随机变量序列 \(\{X_n\}\) 依概率收敛于 \(X\)，记作 \(X_n \xrightarrow{P} X\)。

1.2 统计意义⚓︎

  • 频率的稳定性：事件发生的频率 \(\frac{n_A}{n}\) 依概率收敛于事件发生的概率 \(p\)
  • 平均值的稳定性：随机变量序列的算术平均值 \(\bar{X}_n\) 依概率收敛于数学期望 \(E(X)\)

2. 大数定律 (Law of Large Numbers, LLN)⚓︎

大数定律阐述了随机变量序列的算术平均值依概率收敛于其数学期望的算术平均值。

2.1 切比雪夫大数定律 (Chebyshev's LLN)⚓︎

切比雪夫大数定律

条件：

  1. \(X_1, X_2, \dots, X_n, \dots\) 相互独立
  2. 数学期望 \(E(X_k) = \mu_k\) 存在
  3. 方差有公共上界，即 \(D(X_k) \le C\) (\(k=1, 2, \dots\))

结论：对任意 \(\varepsilon > 0\)，有：

\[ \lim_{n \to \infty} P\left\{ \left| \frac{1}{n}\sum_{k=1}^n X_k - \frac{1}{n}\sum_{k=1}^n \mu_k \right| < \varepsilon \right\} = 1 \]

特例：若 \(E(X_k) = \mu\) (常数)，则样本均值依概率收敛于总体均值 \(\mu\)

2.2 伯努利大数定理 (Bernoulli's LLN)⚓︎

伯努利大数定理

背景：\(n\) 重伯努利试验，事件 \(A\) 发生的概率为 \(p\)，\(n_A\) 为 \(A\) 发生的次数

结论：对任意 \(\varepsilon > 0\)，有：

\[ \lim_{n \to \infty} P\left\{ \left| \frac{n_A}{n} - p \right| < \varepsilon \right\} = 1 \]

意义：严格表达了频率的稳定性。当 \(n\) 很大时，可用频率代替概率

2.3 辛钦大数定理 (Khinchin's LLN)⚓︎

辛钦大数定理

条件：

  1. \(X_1, X_2, \dots, X_n, \dots\) 相互独立
  2. 服从同一分布 (i.i.d.)
  3. 数学期望 \(E(X_k) = \mu\) 存在

注：相比切比雪夫大数定律，不要求方差存在

结论：对任意 \(\varepsilon > 0\)，有：

\[ \lim_{n \to \infty} P\left\{ \left| \frac{1}{n}\sum_{k=1}^n X_k - \mu \right| < \varepsilon \right\} = 1 \]

意义：提供了用样本均值估计总体均值的理论依据

3. 中心极限定理 (Central Limit Theorem, CLT)⚓︎

中心极限定理阐述了大量独立随机变量之和的分布逼近于正态分布。

3.1 独立同分布的中心极限定理 (Lindeberg-Levy CLT)⚓︎

林德贝格 - 利维中心极限定理

条件：

  1. \(X_1, X_2, \dots, X_n, \dots\) 相互独立
  2. 服从同一分布 (i.i.d.)
  3. 数学期望 \(E(X_k) = \mu\)，方差 \(D(X_k) = \sigma^2 > 0\) 存在

结论：随机变量之和的标准化变量 \(Y_n\) 依分布收敛于标准正态分布：

\[ Y_n = \frac{\sum_{k=1}^n X_k - n\mu}{\sqrt{n}\sigma} \xrightarrow{L} N(0, 1) \]

即对于任意 \(x\)，分布函数 \(F_n(x)\) 满足：

\[ \lim_{n \to \infty} P\{Y_n \le x\} = \Phi(x) = \int_{-\infty}^x \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} dt \]

3.2 棣莫佛--拉普拉斯定理 (De Moivre-Laplace Theorem)⚓︎

棣莫佛--拉普拉斯定理

背景：二项分布的正态近似

条件：\(X_n \sim B(n, p)\)，即 \(n\) 重伯努利试验中事件发生的次数

结论：当 \(n\) 很大时，标准化变量近似服从标准正态分布：

\[ \frac{X_n - np}{\sqrt{np(1-p)}} \xrightarrow{L} N(0, 1) \]

近似计算公式：

\[ P\{a < X_n \le b\} \approx \Phi\left(\frac{b - np}{\sqrt{np(1-p)}}\right) - \Phi\left(\frac{a - np}{\sqrt{np(1-p)}}\right) \]

意义：解决了二项分布概率计算繁琐的问题，提供了正态近似方法。与泊松近似不同，此定理对 \(p\) 没有必须很小的限制

3.3 李雅普诺夫定理 (Liapunov's Theorem)⚓︎

李雅普诺夫定理

条件：

  1. \(X_1, X_2, \dots, X_n, \dots\) 相互独立（不必同分布）
  2. \(E(X_k) = \mu_k\), \(D(X_k) = \sigma_k^2 > 0\)
  3. 记 \(B_n^2 = \sum_{k=1}^n \sigma_k^2\)
  4. 存在 \(\delta > 0\)，使得当 \(n \to \infty\) 时，李雅普诺夫条件成立：
\[ \frac{1}{B_n^{2+\delta}} \sum_{k=1}^n E\{|X_k - \mu_k|^{2+\delta}\} \to 0 \]

结论：标准化和依分布收敛于标准正态分布：

\[ \frac{\sum_{k=1}^n X_k - \sum_{k=1}^n \mu_k}{B_n} \xrightarrow{L} N(0, 1) \]

3.4 李雅普诺夫定理 (Liapunov's Theorem)⚓︎

林德贝格中心极限定理

条件：

  1. \(X_1, X_2, \dots, X_n, \dots\) 相互独立
  2. \(E(X_k) = \mu_k\), \(D(X_k) = \sigma_k^2\)
  3. 记 \(B_n^2 = \sum_{k=1}^n \sigma_k^2\)
  4. 林德贝格条件：对任意 \(\varepsilon > 0\)：
\[ \lim_{n \to \infty} \frac{1}{B_n^2} \sum_{k=1}^n \int_{|x - \mu_k| > \varepsilon B_n} (x - \mu_k)^2 f_k(x) dx = 0 \]

结论：

  1. 标准化和依分布收敛于标准正态分布
  2. 一致地依概率收敛于 0：\(\max_{1 \le k \le n} \frac{|X_k - \mu_k|}{B_n} \xrightarrow{P} 0\)

意义：表明和式中没有任何一个单项起主导作用，每个因素的影响均具有权是相同的

4. 重要不等式与概率界 (Extensions)⚓︎

4.1 单边切比雪夫不等式 (One-sided Chebyshev Inequality)⚓︎

单边切比雪夫不等式

命题：设随机变量 \(X\) 具有均值 \(E(X)=0\) 和有限方差 \(D(X)=\sigma^2\)，则对任意 \(a > 0\)：

\[ P\{X \ge a\} \le \frac{\sigma^2}{\sigma^2 + a^2} \]

推广：若 \(E(X)=\mu\)，则：

\[ P\{X - \mu \ge a\} \le \frac{\sigma^2}{\sigma^2 + a^2} \]
\[ P\{X - \mu \le -a\} \le \frac{\sigma^2}{\sigma^2 + a^2} \]

特点：相比双边切比雪夫不等式，单边不等式提供的上界更紧（更小）

4.2 切尔诺夫界 (Chernoff Bound)⚓︎

切尔诺夫界

背景：利用矩母函数 \(M_X(t) = E(e^{tX})\) 获得更有效的概率上界

命题：

  • 对一切 \(t > 0\)：\(P\{X \ge a\} \le e^{-ta} M_X(t)\)
  • 对一切 \(t < 0\)：\(P\{X \le a\} \le e^{-ta} M_X(t)\)

优化：可以通过寻找使 \(e^{-ta} M_X(t)\) 达到最小的 \(t\) 值，来获得 \(P\{X \ge a\}\) 的最佳上界

5. 应用方法论总结⚓︎

5.1 独立随机变量之和的近似计算⚓︎

当 \(n\) 较大时，无论 \(X_k\) 服从何种分布（只要满足 CLT 条件），其和 \(\sum X_k\) 近似服从正态分布：

\[ \sum X_k \sim N\left(\sum \mu_k, \sum \sigma_k^2\right) \]

应用场景：总重量、总电压、总误差等累积量的概率计算问题

5.2 二项分布的概率近似⚓︎

当 \(n\) 很大时，利用棣莫佛--拉普拉斯定理，将二项分布 \(B(n, p)\) 近似为正态分布：

\[ B(n, p) \approx N(np, np(1-p)) \]

应用场景：计算大量独立重复试验中事件发生次数落在某区间的概率

5.3 基于概率要求的参数确定⚓︎

已知概率要求（如保证不超载的概率大于 0.977），利用中心极限定理建立不等式，反求样本量 \(n\) 或容量上限 \(N\)。

步骤：

  1. 标准化
  2. 查标准正态分布表 \(\Phi(x)\)
  3. 解不等式

5.4 概率上界的估计⚓︎

方法 使用条件 特点
切比雪夫不等式 已知均值和方差，分布未知 适用于任何分布，上界较宽松
单边切比雪夫不等式 已知均值和方差，分布未知 上界更紧，适用于单侧概率
切尔诺夫界 已知矩母函数 可获得最优上界

核心要点回顾

  1. 大数定律 → 平均值收敛于期望（稳定性）
  2. 中心极限定理 → 和的分布逼近正态分布（普适性）
  3. 切比雪夫不等式 → 分布未知时的概率估计工具
  4. 切尔诺夫界 → 利用矩母函数获得最优概率上界