# 统计推断概述

统计学的基本任务是利用样本数据推断总体分布，即统计推断。统计推断包括两个最基本的部分，即统计估计和假设检验。

统计估计的目的是借助样本数据，估计总体分布的部分特征，例如总体分布的均值、方差等特征量，总体分布函数的参数值等。根据估计方式的不同，统计估计可以分为参数估计和非参数估计。参数估计是将总体分布表示为有限多个参数的模型

假设检验的目的是检验各种统计命题的真伪，例如分析统计估计中得到的参数的正确性 (即正确的概率是多少)。

# 参数估计

参数估计中的参数指的是分布中所含有的某参数或其函数，以及分布的特征数等。估计的形式包括点估计和区间估计两种。

在参数估计中，包括两个主要的问题：一是如何进行估计，而是对给出的估计如何评价，即估计的好坏标准问题。

# 点估计

点估计指的是对于含有一些参数 $\theta_1,\dots,\theta_k$ 的某个函数 $f(x_1,\dots,x_n)$, 希望估计参数 $\theta_1$, 于是根据某统计量 $\hat \theta = \hat \theta(x_1,\dots,x_n)$. 对于给定的一组样本 $x_1,\dots,x_n$, 可以得到一个估计值 $\hat \theta_1$. 这样采用一个数轴上的点进行估计的方法称为点估计。

最常见的点估计方法是矩法和极大似然估计法。

# 矩法

矩估计指的是采用样本矩替换总体矩，采用样本矩的函数替换总体矩的函数的方法。其实质是采用经验分布函数估计总体分布函数。

矩估计的优点在于简单直接，但有时矩估计不是唯一的。例如对指数分布 $f(x) = \lambda e^{-\lambda x},\,x>0$, 根据样本均值 (一阶矩) 估计有 $\tfrac{1}{\lambda} = \bar x$, 即 $\lambda = \tfrac{1}{\bar x}$; 根据样本方差 (二阶矩) 估计有 $\tfrac{1}{\lambda^2} = D(X)$. 若两者不等，则产生矛盾。我们一般采用低阶矩进行估计。

# 极大似然估计法

# 离散情况

设总体 $X$ 是随机变量，概率函数为 $P(X = a_i) = P(a_i;\theta_1,\theta_2,\dots,\theta_k),\,i = 1,2,\dots$, 其中 $\boldsymbol{\theta} = (\theta_1,\theta_2,\dots,\theta_k)$ 是待估计的未知参数，属于参数空间 $\Theta$. 假设样本 $X_1,X_2,\dots,X_n$ 来自总体 $X$, 观测值为 $x_1,x_2,\dots,x_n$, 于是我们称

$$L(\theta_1,\theta_2,\dots,\theta_k) := \prod_{i=1}^n P(x_i;\theta_1,\theta_2,\dots,\theta_k)$$

为似然函数。于是

$$(\hat\theta_1,\hat\theta_2,\dots,\hat\theta_k) = \argmax L(\theta_1,\theta_2,\dots,\theta_k)$$

由于似然函数为概率函数的乘积，求其极值点比较困难，于是我们考虑求其单调变换的函数 $\ln L(\theta_1,\theta_2,\dots,\theta_k)$ 的极值点，即

$$(\hat\theta_1,\hat\theta_2,\dots,\hat\theta_k) = \argmax \ln L(\theta_1,\theta_2,\dots,\theta_k)$$

# 连续情况

类似地，对连续型总体，设其密度函数为 $f(x;\theta_1,\theta_2,\dots,\theta_k)$, 其中 $\boldsymbol{\theta} = (\theta_1,\theta_2,\dots,\theta_k)$ 是待估计的未知参数，则称

$$L(\theta_1,\theta_2,\dots,\theta_k) := \prod_{i=1}^n f(x_i;\theta_1,\theta_2,\dots,\theta_k)$$

为似然函数。似然函数对应的最值求法和离散型总体是一样的。

# 不变性

极大似然估计具有不变性。即若 $\hat\theta$ 是 $\theta$ 的极大似然估计，那么对任意函数 $g$, $g(\hat\theta)$ 都是 $g(\theta)$ 的极大似然估计。

# 点估计的优良性准则

# 无偏性

设某统计总体包含未知参数 $\boldsymbol{\theta}$, $\boldsymbol{X}$ 是从该总体中抽出的样本。若对任何可能的 $\boldsymbol{\theta}$, 都有

$$E_{\hat{\boldsymbol{\theta}}}\,\hat g(\boldsymbol{X}) = g(\boldsymbol{X}; \boldsymbol{\theta})$$

那么我们称 $\hat g$ 是 $g(\theta_1,\theta_2,\dots,\theta_k)$ 的一个无偏估计量。

# 有效性

# 相合性

# 区间估计

# 定义

点估计指的是采用一个值 $\hat \theta$ 估计参数 $\theta$, 而区间估计则需要给出两个估计量 $\hat \theta_1 = \hat \theta_1(X_1,X_2,\dots,X_n)$ 和 $\hat \theta_2 = \hat \theta_2(X_1,X_2,\dots,X_n)$ 估计，考虑区间 $[\hat \theta_1, \hat \theta_2]$ 覆盖 $\theta$ 的可靠性。

在区间估计中，我们一般有两个要求：一是 $\theta$ 要有极大可能在区间 $[\hat \theta_1,\hat \theta_2]$ 内，即 $\mathbb{P}\{\hat\theta_1\leq \theta \leq \hat\theta_2\}$ 尽可能大。二是使估计尽可能准确，也就是使得区间长度 $\hat \theta_2 - \hat \theta_1$ 尽可能小。可以看到，这是一个 trade-off.

定义设总体的分布函数 $F(x;\theta)$ 含有一个未知参数 $\theta$, $X_1,X_2,\dots,X_n$ 是总体 $X$ 的一个样本，对给定的很小的值 $\alpha\in(0,1)$, 若存在两个估计量 $\hat \theta_1 = \hat \theta_1(X_1,X_2,\dots,X_n)$ 和 $\hat \theta_2 = \hat \theta_2(X_1,X_2,\dots,X_n)$, 使得 $\mathbb{P}\{\hat\theta_1\leq \theta \leq \hat\theta_2\} = 1-\alpha$, $\forall \theta \in \Theta$. 那么我们称区间 $[\hat \theta_1, \hat \theta_2]$ 的置信系数为 $1-\alpha$, 随机区间 $[\hat \theta_1, \hat \theta_2]$ 是 $\theta$ 的双侧置信区间，$\hat \theta_1$ 和$\hat \theta_2$ 称为双侧置信下限和双侧置信上限。若取 $\hat\theta_1 = -\infty$ 或 $\hat \theta_2 = +\infty$, 那么我们称其为单侧置信区间。类似可以定义单侧置信上 (下) 限。

# 枢轴变量法

我们一般如此求解置信区间：

1. 选择未知参数 $\theta$ 的一个良好的点估计；
2. 构造函数 $H(\hat \theta,\theta)$, 使得 $H(\hat \theta,\theta)$ 的分布是完全已知的，而且与 $\theta$ 无关，通常称这种函数为枢轴变量。
3. 适当选取两个常数 $c_1$ 与 $c_2$, 使得对给定的 $\alpha$, 有 $P(c_1 \leq H(\hat \theta, \theta)\leq c_2) = 1-\alpha$. 我们常选取$H$ 的上下$\alpha/2$ 分位数。
4. 将不等式 $c_1 \leq H(\hat \theta, \theta)\leq c_2$ 等价变形为 $\hat\theta_1 \leq \theta \leq\hat\theta_2$, 得到置信区间 $[\hat \theta_1, \hat\theta_2]$.

一般情况下，我们总是对正态分布进行区间估计。首先，记$u_\beta$ 为标准正态分布$N(0,1)$ 的上$\beta$ 分位数，即$\Phi(u_\beta) = 1-\beta$.

若 $X_1,X_2,\dots,X_n$ 是正态分布总体 $N(\mu,\sigma^2)$ 的样本，$\sigma^2$ 已知，希望求 $\mu$ 的区间估计。

# 求解