首页 数学 概率论

说笑限于即兴，留下误会就成了谎言。

# 离散概率分布

# 伯努利试验

我们考虑最基本的事件域 F={∅,A,Aˉ,Ω}\mathcal F= \{\varnothing, A, \bar{A}, \Omega\}, 并将 AA 称为成功，将 Aˉ\bar A 称为失败。这样的只有两个可能结果的试验称为伯努利试验。

对于伯努利试验，为简化公式，我们一般记事件AA 发生的概率为 pp, 事件 Aˉ\bar A 发生的概率为 q=1−pq=1-p. 离散概率分布大多与伯努利试验相关。

# 伯努利分布

只进行一次伯努利试验，事件 AA 发生次数的概率分布称为伯努利分布，又称 0-1 分布。其期望为 pp, 方差为 pqpq. 证明是显然的。

# 二项分布

在nn 重伯努利试验中事件AA 出现kk 次这一事件记作BkB_k，其概率记作b(k;n,p)b(k;n,p)。BkB_k 关于kk 的分布称为二项分布 (binary distribution).

显然，b(k;n,p)=(nk)pkqn−k\displaystyle b(k;n,p) = \binom{n}{k}p^kq^{n-k}, k=0,1,…,nk=0,1,\dots,n。

性质 二项分布的期望为npnp，方差为npqnpq。

证明

注意到

EX=∑k=0nk(nk)2npkqn−k=n∑k=1n(n−1k−1)2npkqn−k=np(p+q)n−1=np\begin{aligned} \mathbb{E}X &= \sum_{k=0}^n k \frac{\binom{n}{k}}{2^n} p^kq^{n-k} \\ &= n\sum_{k=1}^n\frac{\binom{n-1}{k-1}}{2^n}p^kq^{n-k} \\ &= np(p+q)^{n-1} = np \end{aligned}

于是期望为 npnp.

又，

EX2=∑k=0nk2(nk)2npkqn−k=n∑k=1nk(n−1k−1)2npkqn−k=n∑k=1n(k−1)(n−1k−1)2npkqn−k+n∑k=1n(n−1k−1)2npkqn−k=n(n−1)p2+np\begin{aligned} \mathbb{E}X^2 & = \sum_{k=0}^n k^2 \frac{\binom{n}{k}}{2^n} p^kq^{n-k} \\ & = n\sum_{k=1}^nk\frac{\binom{n-1}{k-1}}{2^n}p^kq^{n-k} \\ & = n\sum_{k=1}^n(k-1)\frac{\binom{n-1}{k-1}}{2^n}p^kq^{n-k} + n\sum_{k=1}^n\frac{\binom{n-1}{k-1}}{2^n}p^kq^{n-k} \\ & = n(n-1)p^2 + np \end{aligned}

则

DX=EX2−(EX)2=npq\mathbb{D}X = \mathbb{E}X^2 - (\mathbb{E}X)^2 = npq

或者，可以根据 nn 个伯努利分布的独立性证明。

在二项分布中，我们称距离期望 E\mathbb{E} 最近的整数 [np+12][np+\tfrac{1}{2}] 为事件 AA 的最可能次数。

# 几何分布

伯努利试验中首次成功出现在第 kk 次试验这一事件记作 WkW_k, 对应的概率称为 g(k;p)g(k;p). WkW_k 关于 kk 的分布称为几何分布 (geometry distribution)

显然，g(k;p)=pqk−1g(k;p) = pq^{k-1}.

性质 几何分布的期望为 1p\frac{1}{p}, 方差为 1pq\frac{1}{pq}.

证明
期望 EX=∑i=1∞ipqi−1\mathbb{E}X = \sum_{i=1}^\infty ipq^{i-1}, 根据柯西根值判别法知 EX\mathbb{E}X 收敛，于是 EX−qEX=p∑i=1∞qi=1\mathbb{E}X - q\mathbb{E}X = p\sum_{i=1}^\infty q^i = 1, 于是 EX=11−q=1p\mathbb{E}X = \frac{1}{1-q} = \frac{1}{p}.

采用柯西根值判别法同样可证 EX2\mathbb{E}X^2 收敛，则 EX2=p∑i=1∞i2qi\mathbb{E}X^2 = p\sum_{i=1}^\infty i^2q^i, 类似错位相减得

# 泊松分布

# 泊松过程

# 连续概率分布

# 指数分布

指数分布的密度函数为

f(x)={λe−λxx≥00x<0f(x) = \left\{ \begin{aligned} & \lambda e^{-\lambda x}&x\geq 0 \\ & 0 & x<0 \end{aligned} \right.

分布函数为

F(x)={1−e−λxx≥00x<0F(x) = \left\{ \begin{aligned} & 1-e^{-λx} & x\geq 0 \\ & 0 & x<0 \end{aligned} \right.

性质 指数分布的期望 EX=1λ\mathbb{E}X = \frac{1}{λ}, 方差 DX=1λ2\mathbb{D}X = \frac{1}{λ^2}.

证明

EX=∫0+∞λxe−λxdx=1λΓ(2)=1λ\mathbb{E}X = \int_0^{+\infty}λxe^{-λx}\mathrm dx = \frac{1}{\lambda}\Gamma(2) = \frac{1}{\lambda}

DX=EX2−(EX)2=1λ2∫0+∞λ2x2e−λxdλx−1λ2=1λ2Γ(3)−1λ2=1λ2\mathbb{D}X = \mathbb{E}X^2 - (\mathbb{E}X)^2 = \frac{1}{λ^2}\int_0^{+\infty}λ^2x^2e^{-λx}\mathrm d\lambda x - \frac{1}{λ^2} = \frac{1}{λ^2}\Gamma(3) - \frac{1}{λ^2} = \frac{1}{λ^2}

# 正态分布

正态分布是连续型分布中最重要的分布。

# 一般的正态分布

我们称密度函数为

f(x)=12πσe−(x−μ)22σ2,x∈Rf(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, \; x \in \mathbb{R}

的概率分布为正态分布。其分布函数

F(x)=12πσ∫−∞xe−(x−μ)22σ2dxF(x) = \frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^xe^{-\frac{(x-\mu)^2}{2\sigma^2}} \mathrm dx

没有初等形式。

正态分布包括两个参数 μ\mu 和 σ\sigma, 其中 μ\mu 仅决定正态分布函数图像的位置，σ\sigma 仅决定正态分布函数图像的形状，因此称 μ\mu 为正态分布的位置参数，称 σ\sigma 为正态分布的尺度参数。若随机变量 XX 服从于未知参数 μ\mu, 尺度参数 σ\sigma 的正态分布，则记作 X∼N(μ,σ)X \sim N(\mu, \sigma).

性质 1 正态分布的期望为 μ\mu, 方差为 σ2\sigma^2.

证明

EX=12πσ∫−∞+∞xe−(x−μ)22σ2dx=12πσ∫−∞+∞(x−μ)e−(x−μ)22σ2d(x−μ)+12πσ∫−∞+∞μe−(x−μ)22σ2dx=0+μ=μ\begin{aligned} \mathbb{E}X & = \frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{+\infty}xe^{-\frac{(x-\mu)^2}{2\sigma^2}} \mathrm dx\\ & = \frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{+\infty}(x-\mu)e^{-\frac{(x-\mu)^2}{2\sigma^2}} \mathrm d(x-\mu) + \frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{+\infty}\mu e^{-\frac{(x-\mu)^2}{2\sigma^2}} \mathrm dx\\ & = 0 + \mu\\ & = \mu \end{aligned}

方差类似。

注意到，由于上面的计算过于繁杂，因此我们引入标准化的正态分布。

# 标准正态分布

我们称 N(0,1)N(0,1) 为标准正态分布。于是其期望为 00, 方差为 11. 通常情况下，标准正态分布记作 UU, 其密度函数记作 ϕ(u)\phi(u), 分布函数记作 Φ(u)\Phi(u). Φ(u)\Phi(u) 的值一般可以通过查表获得。

标准正态分布有一些基本的性质，我们不加证明地列举如下：

  • Φ(−u)=1−Φ(u).\Phi(-u) = 1-\Phi(u).
  • P(U>u)=1−Φ(u).\mathbb{P}(U>u) = 1-\Phi(u).
  • P(a<U<b)=Φ(b)−Φ(a).\mathbb{P}(a<U<b) = \Phi(b) - \Phi(a).

对于一般的正态分布 X∼N(μ,σ2)X \sim N(\mu, \sigma^2), 有 X∗≔(X−μ)/σ∼N(0,1)X^* \coloneqq (X-\mu)/\sigma \sim N(0,1). 我们称将 XX 变换为 (X−μ)/σ(X-\mu)/\sigma 的过程为正态分布的标准化。显然，通过标准化求一般正态分布的期望和方差是更加便捷的。

# 伽马分布

密度函数为

p(x)={λαΓ(α)xα−1e−λxx≥00x<0p(x) = \left\{ \begin{aligned} & \frac{\lambda ^ \alpha}{\Gamma(\alpha)}x^{\alpha - 1}e^{-\lambda x} & x \geq 0 \\ & 0 & x < 0 \end{aligned} \right.

的分布称为形状参数为 α\alpha, 尺度参数为 λ\lambda 的伽马分布 (Gamma distribution), 记作 Ga(α,λ)Ga(\alpha, \lambda).

根据伽马函数的性质，可以得到伽马分布的期望和方差：

EX=∫0∞λαΓ(α)xαe−λxdx=Γ(α+1)λΓ(α)=αλ\mathbb{E}X = \int_{0}^\infty \frac{\lambda ^ \alpha}{\Gamma(\alpha)}x^{\alpha}e^{-\lambda x} \text dx = \frac{\Gamma(\alpha +1)}{\lambda \Gamma(\alpha)} = \frac{\alpha}{\lambda}

类似地，

EX2=∫0∞λαΓ(α)xα+1e−λxdx=Γ(α+2)λ2Γ(α)=α(α+1)λ2\mathbb{E}X^2 = \int_0^\infty \frac{\lambda ^ \alpha}{\Gamma(\alpha)}x^{\alpha + 1}e^{-\lambda x} \text dx = \frac{\Gamma(\alpha +2)}{\lambda^2\Gamma(\alpha)} = \frac{\alpha(\alpha + 1)}{\lambda^2}

因此作差得到

DX=EX2−(EX)2=αλ2\mathbb{D}X = \mathbb{E}X^2 - (\mathbb{E}X)^2 = \frac{\alpha}{\lambda^2}

伽马分布的一个特点是其具有可加性，即 Ga(α1,λ)+Ga(α2,λ)=Ga(α1+α2,λ)Ga(\alpha_1, \lambda) + Ga(\alpha_2, \lambda) = Ga(\alpha_1 + \alpha_2, \lambda).

# 柯西分布

我们称密度函数为

f(x;x0,γ)=1πγ(x−x0)2+γ2f(x;x_0,\gamma)=\frac{1}{\pi}\frac{\gamma}{(x-x_0)^2+\gamma^2}

的概率分布为柯西分布。其中x0x_0 为分布峰值位置的位置参数，γ\gamma 为最大值一半处的一般宽度，称为尺度参数。若随机变量XX 服从于位置参数为x0x_0，尺度参数为γ\gamma 的柯西分布，那么记作X∼C(γ,x0)X \sim C(\gamma, x_0)。其中，C(1,0)C(1,0) 称为标准柯西分布。

容易求得，柯西分布 C(γ,x0)C(\gamma,x_0) 的分布函数为

F(x;x0,γ)=1πarctan⁡x−x0γ+12F(x;x_0,\gamma)=\frac{1}{\pi}\arctan \frac{x-x_0}{\gamma} + \frac{1}{2}

由于

∫−∞+∞∣x∣f(x)dx\int_{-\infty}^{+\infty}|x|f(x) \mathrm dx

发散，故其期望不存在。类似地，其高阶矩 (如方差) 亦不存在。