【机器学习】逻辑回归

【机器学习】逻辑回归 优点：计算代价不高，易于理解和实现； 缺点：容易欠拟合，分类精度可能不高。

我们想要的是接收所有的输入，然后预测出类别。在两个类的情况下输出0或者1。这种性质的函数，也许原来你接触过，叫做Heaviside step function，即单位阶跃函数。但是这种瞬间的跳跃实际中很难处理。所以，这里我们采用Sigmoid函数。
g(z)=11+e?z

为了实现Logistic回归分类器，我们在每个特征上乘以一个回归系数，再讲所有的结果相加，将这个总和带入Sigmoid函数中，得到一个范围在0~1之间的数值。任何大于0.5的被分为1类，小于0.5的被分为0类。那么，问题就变成了最佳回归系数是多少？

梯度下降法

要得到函数的最优值，需要知道最优值的方向和需要向最优值移动的移动量。梯度算子是函数值下降最快的方法。移动量称为步长，记做α。
设有一组训练集{(x1,y1),...,(xm,ym)}，m是样本数，对于每个样本xi,xi=[xi1,...xin]T,y=[0,1],我们乘以最佳系数θ得到
hθ(x)=11+e?θTx
代价函数的式子如下：
Cost(hθ(x),y)={?log(hθ(x))?log(1?hθ(x))ify=1ify=0
J(θ)=1m∑i=0mCostfunction(hθ(xi),yi)=?1m[∑i=0myilog(hθ(xi)+(1?yi)log(1?hθ)(xi))]