Logistic Regression--机器学习笔记2

写在前面

本系列是Machine Learning-Andrew Ng学习后整理的读书笔记。

本节主要介绍逻辑回归的内容,由于内容上逻辑回归与线性回归相似性极大,只有假设函数与代价函数不同,因而,对应的正规方程(Normal equation)与梯度下降法(Gradient Descent)不做过多介绍。

逻辑回归

由于线性回归的假设表示(Hypothesisi Representation)分布范围不是限定在{0,1}之间,将线性函数的那一套照搬到逻辑回归中来,明显不合适。因而在逻辑回归中,我们利用Sigmoid函数(又称Logistic函数)引入了新的假设表示。
$$
\begin{cases}
h_{\boldsymbol{\hat{\theta}}}(\boldsymbol{X})=g(\boldsymbol{\hat{\theta}}^T \boldsymbol{X}) \\\\
g(z)=\frac{1}{1+e^{-z}}
\end{cases}
$$

代价函数

假设函数的修改使得我们无法继续使用线性回归的代价函数,因为继续如此,会导致代价函数起伏不定(不是凸函数,convex function),即存在许多的局部最优解。因而更新后的代价函数结果如下。
$$
\begin{align}
J(\boldsymbol{\hat{\theta}})&=
\begin{cases}
-\frac{1}{m}\displaystyle\sum_{i=1}^{m}log(h_{\boldsymbol{\hat{\theta}}}(x^{(i)}) && y=1 \\
-\frac{1}{m}\displaystyle\sum_{i=1}^{m}log(1-h_{\boldsymbol{\hat{\theta}}}(x^{(i)}) )&& y=0
\end{cases}\\
&=-\frac{1}{m}\displaystyle\sum_{i=1}^{m}[y^{(i)}log(h_{\boldsymbol{\hat{\theta}}}(x^{(i)}))+(1-y^{(i)})log(1-h_{\boldsymbol{\hat{\theta}}}(x^{(i)}))]
\end{align}
$$
介绍至此,关于逻辑回归部分就算完成了。剩余部分与线性回归部分相同,不再重复。

本文标题:Logistic Regression--机器学习笔记2

文章作者:Lumo Wang

发布时间:2018年03月09日 - 15:03

最后更新:2018年11月07日 - 15:11

原始链接:https://luameows.github.io/2018/03/09/学习笔记-机器学习笔记2-逻辑回归/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

请我喝杯咖啡,我会继续熬夜的~