朴素贝叶斯

1. 定义

朴素贝叶斯法（Naive Bayes）：基于贝叶斯定理与特征条件独立的分类方法。

• 对于给定的训练数据集，基于特征条件独立假设学习输入输出的联合概率分布；
• 基于联合概率分布，对给定的输入 $x$ ， 利用贝叶斯定理求出后验概率最大输出 $ y $ 。

• 条件概率公式 $$P(A|B) = \frac{P(A, B)}{P(B)}$$ $$P(B|A) = \frac{P(A, B)}{P(A)}$$
• 贝叶斯定理 $$P(A|B) = P(B|A) * \frac{P(A)}{P(B)}$$

2 基本方法

联合概率分布 $P(X, Y)$

• 先验概率分布 $$P(Y = c_k)， k=1,2,...,K$$
• 条件概率分布 $$P(X=x|Y=c_k) = P(X^{(1)}=x^{(1)}, ..., X^{(n)}=x^{(n)} | Y=c_k), k=1,2,...,K$$
• 条件概率分布加入强的条件独立假设 $$\begin{align} P(X=x|Y=c_k) &= P(X^{(1)}=x^{(1)}, ..., X^{(n)}=x^{(n)} | Y=c_k) \\ &= \prod_{j=1}^{n} P(X^{(j)} = x^{(j)} | Y=c_k) \\ \end{align}$$
• 朴素贝叶斯法实际上学习到生成数据的机制，属于生成模型。条件独立假设等于是说分类的特征在类确定的条件下都是条件独立的，这一假设使得朴素贝叶斯算法变得简单，但有时会牺牲一定的分类准确率。
• 预测时，计算后验概率分布，将后验概率最大的类作为 $x$ 的类输出 $$\begin{align} P(Y=c_k | X = x) &= \frac{ P (X=x |Y=c_k) * \frac{P(Y=c_k)}{P(X=x)} }{ \sum_k P (X=x | Y=c_k) * \frac{P(Y=c_k)}{P(X=x)} } \\ &= \frac{ P (X=x | Y=c_k) * P(Y=c_k) }{ \sum_k P (X=x | Y=c_k) * P(Y=c_k) } \\ \end{align}$$

• 拉普拉斯平滑

3 代码示例