# 随机变量序列的收敛性

# 依概率收敛

设 $\{X_n\}$ 为一随机变量序列，$X$ 为一随机变量。若对 $\forall \varepsilon>0$, 有

$$\lim_{n \to \infty}P(|X_n - X| \geq \varepsilon) \to 0$$

则称序列 $\{X_n\}$ 依概率收敛于 $X$, 记作 $X_n \xrightarrow{P} X$.

# 按分布收敛

设随机变量 $X,X_1,X_2,\dots$ 的分布函数分别为 $F(x),F_1(x),F_2(x),\dots$. 若对 $F(x)$ 的任一连续点 $x$, 都有

$$\lim_{n\to\infty}F_n(x) = F(x)$$

则称 $\{F_n(x)\}$ 弱收敛于 $F(x)$, 记作 $F_n(x) \xrightarrow{W} F(x)$. 也称相应的随机变量序列 $\{X_n\}$ 按分布收敛于 $X$, 记作 $X_n \xrightarrow{L} X$.

依概率收敛是比按分布收敛更强的收敛，即 $X_n \xrightarrow{P}X \Rightarrow X_n \xrightarrow{L} X$.

# 大数定律

# 马尔可夫不等式与切比雪夫不等式

马尔可夫不等式和切比雪夫不等式是证明大数定律的基本定理。

# 马尔可夫不等式

对于任何随机变量 $X$ 及 $\varepsilon >0$ 有

$$P (|X|\geq \varepsilon) \leq \frac{E|X|}{\varepsilon}$$

证明
考虑示性函数 $I\{|X|\geq\varepsilon\}$. 显然，有 $I\{|X|\geq\varepsilon\}\leq\frac{|X|}{\varepsilon}$. 两边同求数学期望，得

$$P(|X|\geq\varepsilon)\leq\frac{E|X|}{\varepsilon}$$

# 切比雪夫不等式

对于任何随机变量 $X$ 及 $\varepsilon >0$, 有

$$P(|X-\mu|\geq\varepsilon)\leq\frac{\text{Var}(X)}{\varepsilon^2}$$

证明 根据马尔可夫不等式，

$$P(|X-\mu|\geq\varepsilon)=P((X-\mu)^2\geq \varepsilon^2)\leq \frac{𝔼(X-\mu)^2}{\varepsilon^2} = \frac{\text{Var}(X)}{\varepsilon^2}$$

根据切比雪夫不等式和马尔可夫不等式的条件关系，我们知道切比雪夫多项式是比马尔可夫不等式更紧的不等式。

例 设随机变量 $X_i$ 独立同分布 ($i=1,2,\dots,n,\dots$), $\bar{X}_n = \frac{1}{n}\sum_{i=1}^nX_i$, $E X = \mu$, $\text{Var}(X) = \sigma^2$, 则任取 $\varepsilon > 0$, 有

$$P(|\bar{X}_n-\mu|\geq \varepsilon) \to 0, \; n \to \infty$$

证明 $E\bar{X}_n = \mu$, $\text{Var}(\bar{X}_n) = \frac{1}{n}\sigma^2$. 根据切比雪夫不等式，

$$P(|\bar{X}_n-\mu|\geq \varepsilon) \leq \frac{\text{Var}(\bar{X}_n)}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2}\to 0$$

# 服从大数定律

若一随机变量序列 $\{X_n\}$ 满足对任意的 $\varepsilon > 0$, 都有

$$\lim_{n\to\infty}P\left(\left|\frac{1}{n}\sum_{k=1}^nX_k - \frac{1}{n}\sum_{k=1}^n\mathbb{E}X_k\right|<\varepsilon\right) = 1$$

那么我们称该随机变量序列服从大数定律。

不同的大数定律实际上给出的是随机变量服从大数定律的不同条件。

# 马尔可夫大数定律

我们称

$$\frac{1}{n^2}D(\sum_{k=1}^nX_k) \to 0$$

为马尔可夫条件。该条件成立下，大数定律成立。这是判断大数定律是否成立的最常用的方法之一。

# 切比雪夫大数定律

设 $X_1,X_2,\dots,X_n,\dots$ 是由两两不相关的随机变量所构成的序列，每一随机变量都有有限的方差，且方差具有公共上界 $C$. 即 $\exists C \in \mathbb{R},\; s.t.\, \forall i,\; \mathrm{Var}(X_i) \leq C$ 则随机变量序列服从大数定律。称之为切比雪夫大数定律。

可以看出，切比雪夫大数定律是马尔可夫大数定律的特殊形式。

# 辛钦大数定律

设 $\{X_n\}$ 为一独立同分布的随机变量序列，若 $X_i$ 的数学期望存在，则 $\{X_n\}$ 服从大数定律，称为辛钦大数定律。

# 柯尔莫哥洛夫强大数定律

相比于前面的弱大数定律，强大数定律说明

$$\left|\frac{1}{n}\sum_{k=1}^nX_k - \frac{1}{n}\sum_{k=1}^n\mathbb{E}X_k\right| \geq \varepsilon$$

的情形在 $n \to \infty$ 的过程中只能出现有限次。

设随机变量 $X_i$ 相互独立 ($i=1,2,\dots,n\dots$), 若

$$\frac{1}{n^2}\sum_{i=1}^\infty \mathrm{Var}(X_i) \leq \infty$$

则 $\{X_n\}$ 服从强大数定律， 称为柯尔莫哥洛夫强大数定律。

# 中心极限定理

# 研究对象

中心极限定理研究的是独立随机变量和的分布情况。即对于随机变量序列 $\{X_n\}$, 讨论何种条件下，$Y = \sum_{i=1}^n X_i$ 的分布会收敛域正态分布。一般情况下，$n$ 是一个很大的数，可以看作 $n \to \infty$.

# 林德伯格 - 莱维中心极限定理

林德伯格 - 莱维 (Lindeberg-Lévy) 中心极限定理是描述独立同分布变量的中心极限定理。

设 $\{X_n\}$ 是独立同分布的随机变量序列，且 $E(X)=\mu$, $\mathrm{Var}(X) = \sigma^2$ 存在，若记

$$Y_n^* \coloneqq \frac{\sum_{i=1}^nX_i - n\mu}{\sigma \sqrt{n}}$$

则对 $\forall y \in \mathbb{R}$, 有

$$\lim_{n \to \infty} P(Y_n^* \leq y) = \Phi(y) = \frac{1}{2\pi} \int_{-\infty}^y e^{-t^2/2} \mathrm{d}t$$

# 棣莫弗 - 拉普拉斯中心极限定理

棣莫弗 - 拉普拉斯 (de Moivre-Laplace) 中心极限定理是描述二项分布的中心极限定理，也是最早被提出的中心极限定理。

设 $n$ 重伯努利试验中，事件 $A$ 在每次试验中出现的概率为 $p$ ($p \in (0,1)$), 记 $S_n$ 为 $n$ 次试验中事件 $A$ 出
现的次数，且记

$$Y_n^* \coloneqq \frac{S_n - np}{\sqrt{npq}}$$

则对任意实数 $y$, 有

$$\lim_{n \to \infty} P(Y_n^* \leq y) = \Phi(y) = \frac{1}{2\pi} \int_{-\infty}^y e^{-t^2/2} \mathrm{d}t$$

# 林德伯格中心极限定理