# 机器学习基础

# 模型的选择

模型训练过程中会出现过拟合或欠拟合。要想评价模型的优劣，需采用期望误差进行评价：

$$\mathcal{R}(f) = \mathbb{E}_{(x,y) \sim p_r(x,y)}[(y-f(x))^2].$$

# Logistic/Softmax 回归

# 机器学习任务

主要分为两类：

1. 样本的特征向量 $\bm{x}$ 和标签 $y$ 之间存在未知的函数关系 $y = f(\bm{x})$.
2. 条件概率 $p(y|\bm{x})$ 服从某个未知的分布。

# KL 散度

KL 散度衡量两个概率分布之间的差异：

$$D_{\text{KL}}(p\|q) = \sum_{i=1}^C p(c_i) \log \frac{p(c_i)}{q(c_i)},$$

其中，$p$ 和 $q$ 是两个概率分布，$C$ 是类别数。

# 交叉熵

# 前馈神经网络

# 反向传播算法