# 数学期望

# 定义

我们采用数学期望 (mathematical expectation) 来表示随机变量在所有取值可能下的加权平均值，定义为

$$\mathbb{E} \coloneqq \sum_{x}xp(x)$$

更严谨地，我们可以写成

$$\mathbb{E}(x) \coloneqq \int_{-\infty}^{+\infty}x\mathrm dF(x)$$

其中 $F(x)$ 为 $x$ 的分布函数。在连续的情况下，我们采用

$$\mathbb{E}(x) = \int_{-\infty}^{+\infty}xp(x)\mathrm dx$$

进行计算。

# 性质

性质 1 (有界性) 若 $a \leq X \leq b$, 则 $a \leq\mathbb{E}X\leq b$.

性质 2 (线性性) $\mathbb{E}(aX+bY) = a\mathbb{E}X + b\mathbb{E}Y$.

# 方差与协方差

# 定义

我们称

$$\mathbb{D}X \coloneqq \mathbb{E}(X-\mathbb{E}X)^2$$

是随机变量 $X$ 的方差 (variance), 称

$$\text{cov}(X,Y) \coloneqq \mathbb{E}\big((X-\mathbb{E}X)(Y-\mathbb{E}Y)\big)$$

为随机变量 $X$ 与 $Y$ 的协方差 (covariance).

# 性质

性质 1 方差 $\mathbb{D}X$ 非负。

性质 2 $\mathbb{D}(aX + b) = a^2\mathbb{D}X$.

性质 3 $\mathbb{D}(X \pm Y) = \mathbb{D}X + \mathbb{D}Y ± 2\mathbb{E}\left((X-\mathbb{E}X)(Y-\mathbb{E}Y)\right) = \mathbb{D}X + \mathbb{D}Y \pm 2\text{cov}(X,Y)$。

性质 4 若 $c ≠ \mathbb{E}X$, 则 $\mathbb{D}X < \mathbb{E}(X-c)^2$.

这个性质说明随机变量和数学期望间的离散程度最小。

例 求 $\mathbb{D}\big(\sum_{i=1}^na_iX_i + c\big)$.

解

$$\begin{aligned} \mathbb{D}\big(\sum_{i=1}^na_iX_i + c\big) & = \mathbb{D}\big(\sum_{i=1}^na_iX_i\big) \\ & = \sum_{i=1}^na_i^2\mathbb{E}(X_i - \mathbb{E}X_i)^2 + 2a_ia_j\sum_{1≤i<j≤n}\mathbb{E}(X_i-\mathbb{E}X_i)(X_j-\mathbb{E}X_j) \\ & = \sum_{i=1}^na_i^2\mathbb{D}X_i+ 2a_ia_j\sum_{1≤i<j≤n}\text{cov}(X_i,X_j) \\ &= (a_1,\dots,a_n) \varSigma\,(a_1,\dots,a_n)' \end{aligned}$$

# 协方差矩阵

我们称 $\varSigma = (\sigma_{ij})_n$ 为协方差矩阵 (covariance matrix).

# 性质

注意到，$\mathbb{D}\big(\sum_{i=1}^na_iX_i\big)$ 可以写成一个关于 $a_1,…,a_n$ 的一个半正定二次型，其对应的矩阵记为 $\varSigma$, 我们将 $\mathbb{D}X_i$ 记作 $\sigma_{ii}$, 将 $\text{cov}(X_i,X_j)$ 记作 $\sigma_{ij}$. 于是，协方差矩阵是半正定的。

# 相关系数和相关性

我们称

$$\rho _{XY} = \frac{\text{cov}(X,Y)}{\sqrt{\mathbb{D}X}\sqrt{\mathbb{D}Y}}$$

为 $X$ 与 $Y$ 的相关系数，它可以用来刻画 $X$ 与 $Y$ 的线性相关关系。

• 若 $\rho_{XY}>0$, 则 $X$ 与 $Y$ 正相关
• 若 $\rho_{XY}<0$, 则 $X$ 与 $Y$ 负相关
• 若 $\rho_{XY}=0$, 则 $X$ 与 $Y$ 不相关

且 $|ρ_{XY}|$ 越大，$X$ 与 $Y$ 的线性相关程度越高。

# Cauchy-Schwarz 不等式

定理 对任意两个随机变量 $X$ 与 $Y$, 有

$$(\mathbb{E}XY)^2 \leq \mathbb{E}X^2 \cdot \mathbb{E}Y^2$$

等式成立当且仅当

$$P\{Y = t_0X\} = 1$$

其中 $t_0$ 为常数。

解 构造二次函数

$$u(t) = \mathbb{E}(tX - Y)^2 = t^2\mathbb{E}X^2 - 2t\mathbb{E}XY + \mathbb{E}Y^2 \geq 0$$

则判别式

$$\Delta =4(\mathbb{E}XY)^2 - 4\mathbb{E}X^2\mathbb{E}Y^2 \leq 0$$

于是 $(\mathbb{E}XY)^2 \leq \mathbb{E}X^2 \cdot \mathbb{E}Y^2$. 存在重根 $t_0$ 时， $\mathbb{E}(t_0X - Y)^2 = 0$, 于是 $\mathbb{D}(t_0X - Y) = \mathbb{E}(t_0X - Y) = 0$, 则 $P\{Y = t_0X\} = 1$.

充分性显然。

根据 Cauchy-Schwarz 不等式，我们容易得到 $|\rho|\leq 1$. 若 $\rho = 1$, 则我们称随机变量 $X$ 与 $Y$ 完全正相关，若 $\rho = -1$, 则我们称随机变量 $X$ 与 $Y$ 完全负相关

性质对两个不相关的变量 $X$ 与 $Y$, 我们容易证明其满足以下性质：

# 矩 & 矩母函数

# 定义

# 原点矩 & 中心距

设 $X$ 为随机变量，$k$ 为正整数．如果下述的数学期望都存在，则称

$$\mu_k \coloneqq \mathbb{E}(X^k)$$

为 $X$ 的 $k$ 阶原点矩。称

$$\nu_k \coloneqq \mathbb{E}(X-\mathbb{E}X)^k$$

为 $X$ 的 $k$ 阶中心矩。

# 偏度 & 峰度

设随机变量 $X$ 的前三阶矩存在，则比值

$$\beta_S = \frac{\nu_3}{\nu_2^{3/2}}$$

称为 $X$ 的偏度系数，简称偏度．当 $\beta_S > 0$ 时，称该分布为正偏，又称右偏；当 $\beta_S < 0$ 时，称该分布为负偏，又称左偏。

# 矩母函数

随机变量 $X$ 的矩母函数 $\phi(t)$ 对所有值 $t$ 定义为

$$\phi(t) = \mathbb{E}e^{tX}$$

即若 $X$ 为离散随机变量，则

$$\phi(x) = \sum_{x}e^{tx}p(x)$$

若 $X$ 为连续随机变量，则

$$\phi(x) = \int_{-\infty}^{+\infty}e^{tx}f(x) \mathrm dx$$

# 性质

性质 $\phi(t)$ 的 $n$ 阶导数在 $t=0$ 处的值为 $X$ 的 $n$ 阶矩。即

$$\phi^{(n)}(0) = \mathbb{E}X^n, \; n \geq 1$$

证明 采用数学归纳法即可。

# 常见分布的矩母函数

# 二项分布

假设二项分布的量参数为$n$ 与$p$，则

$$\phi(t) = \sum_{k=0}^n e^{tk} \binom{n}{k}p^k(1-p)^{n-k} = (pe^t+1-p)^n$$

# 泊松分布

假设泊松分布的参数为 $\lambda$, 则

$$\phi(t) = \sum_{k=0}^\infty \frac{e^{tk}e^{-λ}}{k!}\lambda^k = \exp\{λ(e^t-1)\}$$

# 指数分布

# 特征函数

假设 $\xi$ 与 $\eta$ 都是概率空间 $(\Omega,\mathcal F, P)$ 上的实随机变量，那么称 $\zeta = \xi + \text i\eta$ 为复随机变量。复随机变量 $\zeta = \xi + \text i\eta$ 的期望定义为 $\mathbb{E}\zeta:=\mathbb{E}\xi + \text i\mathbb{E}\eta$.

下面我们引入特征函数。

对