机器学习基础-正则化

本系列是Machine Learning-Andrew Ng学习后整理的读书笔记。

本节主要介绍降低过拟合可能性的一种方式,正则化

正则化

正则化(Regulazation),作为防止过拟合(Overfitting)的一种手段,在讲解之前,先简单介绍下过拟合。

过拟合与欠拟合

引用周志华-《机器学习》的一张图片来解释如下。

过拟合与欠拟合的直观类比

对于欠拟合,即训练数据学习不充分,没有学习到训练集的所有特征,即训练结果较差。对于过拟合,即学习过分,将一些训练集中的特性当做整个数据集的共性来处理,即训练结果较好,但实际测试性能很差。

防止过拟合主要有两种途径,即(下图截取自吴恩达《机器学习》讲义)

防止过拟合途径

正则项

所谓正则化,即在不减少特征数量与参数$\theta$数量的条件下,通过设置惩罚机制(即降低不必要$\theta$权重)来达到目的,相应的代价函数更新为
$$
J(\boldsymbol{\theta}):=J(\boldsymbol{\theta})+\lambda \displaystyle\sum_{j=1}^{n}\theta_j^2
$$
注意,这里$\theta_0$不参与正则化。

梯度下降

引入正则项后,相应的梯度下降法修正为

梯度下降

正规方程

同样,正规方程也应当被修正

正规方程

注意,修正后的正规方程中,由于引入了正则项,原始方程中的不可逆情况也被修正了。

本文标题:机器学习基础-正则化

文章作者:Lumo Wang

发布时间:2018年03月10日 - 22:03

最后更新:2019年04月17日 - 20:04

原始链接:https://luameows.github.io/2018/03/10/学习笔记-机器学习基础-正则化/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

请我喝杯咖啡,我会继续熬夜的~