过拟合及其解决方法

1. 过拟合概念

在深度学习或机器学习过程中，在训练集上表现过于优越，在验证集及测试集中表现不佳，模型泛化能力差。
过拟合及常见处理办法整理

2. 常见原因

原因主要是数据样本少及噪声多

• 数据样本少
• 数据噪声多
• 模型复杂度高
• 迭代次数多

3. 解决方法

• 获取更多的数据
  • 数据源获取更多的数据
  • 数据增强
• 更改模型结构
  • 换简单模型
  • L1 & L2 范式
  • Dropout
  • Early Stopping

4. 数据增强

自然语言处理技术中常用的数据增强方法

• 同义词替换
• 随机插入
• 随机交换
• 随机删除

5. L1 & L2 范式

• 范式定义 $$\left ( \sum_{i}\left | x_i \right | ^p \right)^\frac{1}{p}$$
• 加入范式的目标函数 $$J^2\left(w, b\right) = J\left(w, b\right) + \frac{\lambda}{2m}\Omega (w)$$
• L1范式惩罚因子 $$\Omega (w) = \sum_{i} \left | w_i \right |$$
• L2范式惩罚因子 $$\Omega (w) = \sum_{i} \left | w_i \right | ^2$$
• 结论
  
  L1 正则化用作特征选择，L2 正则化用作防止过拟合
  
  参考介绍—-机器学习中的正则化

6. Dropout

思想：以指数级别创建不同的网络结果，然后各个网络结果加权平均，解决过拟合

训练阶段，对每一个神经元的输出以keep_prob保留，1-keep_prob置为0；

预测阶段，对每一个神经元的输出乘以keep_prob。

缺点: 训练时间变长2-3倍。

参考介绍—-深度学习中Dropout原理解析