这部分主要是贝叶斯分析的内容。

# 前置知识

首先回顾概率论中贝叶斯公式的相关知识。

# 条件概率

(Ω,F,P)(\Omega, \mathscr{F}, P) 是一个概率空间,BFB \in \mathscr{F}, P(B)>0P(B) > 0, 则 AF\forall A \in \mathscr{F}, 记

P(AB)P(AB)P(B)P(A|B) \coloneqq \frac{P(AB)}{P(B)}

称其为在某事件 BB 发生的条件下,事件 AA 发生的条件概率 (conditional probability)

# 基本概念

一个分类问题 (classification problem) 实际上是对于一个集合 CC 的划分 {Ci}i=1M\{C_i\}_{i=1}^M, 给出一个概率函数 p(Cix)p(C_i|x), 满足 i=1Mp(Cix)=1,x\sum_{i=1}^Mp(C_i|x) = 1, \forall x.

在贝叶斯分类器中,先验概率 (prior) 为 p(Ci)p(C_i), 满足 i=1MCi=1\sum_{i=1}^MC_i = 1. 样本 xx 的出现概率 p(x)p(x) 称为证据因子 (evidence).