机器学习之——逻辑回归

在讨论逻辑回归问题(Logistic Regression)之前,我们先讨论一些实际生活中的情况:判断一封电子邮件是否是垃圾邮件?判断一次交易是否是欺诈交易?判断一份文件是否是有效文件?这类问题,我们称之为分类问题(Classication Problem)。在分类问题中,我们往往尝试去预测的结果是否属于某一个类(正确活错误)。

我们从二元的分类问题开始讨论,即问题是正确或错误的。

我们将因变量(Dependent Variable)可能属于的两个类分别称为负向类(Negative Class)
正向类(Positive Class),则因变量:

其中,0表示负向类,1表示正向类

我们假设预测一个肿瘤是否为恶性肿瘤的分类问题(Malignant or Benign),我们假设肿瘤的恶性或良性与肿瘤大小的关系,可以用线性回归的方法求出适合数据的一条直线:

根据线性回归模型,我们只能预测到连续的值,然后对于分类问题,我们只需要输出0或1即可,我们可以预测:

对于上图所示的数据,这样的一个线性模型似乎能很好地完成分类任务。假设我们又观察到一个尺寸非常大的恶性肿瘤,将其加入到我们的训练集中作为一个新的实例,那么将对我们的线性模型有一定影响,获得一条新的直线。

这时候,再使用0.5作为阈值来预测肿瘤是良性还是恶性,就显得不那么合适了。可以看出来,线性回归模型,因为其预测的值可以超越[0,1]的范围,所以并不适合解决这样的问题。

我们引入一个新的模型,逻辑回归,该模型的输出变量范围适中在0和1之间。

逻辑回归模型的假设是:

其中,解释一些标识:

该函数的图像为:

将逻辑函数和假设函数合起来,便得到了逻辑回归模型的假设:

对于模型,可以有以下的理解:

hø(x)的作用是,对于给定的输入变量,根据选择的参数计算输出变量=1的可能性(Estimated Probablity),即:

举个例子,如果对于给定的x,通过已经确定的参数计算得出hø(x)=0.7,则表示有百分之七十的概率y为正向类,相应的,y为负向类的概率为百分之三十(1-0.7=0.3)。

如上,便是逻辑回归模型。下一次我们讨论判定边界(Decision Boundary)代价函数(Cost Function)

时间: 2024-10-24 17:16:26

机器学习之——逻辑回归的相关文章

【机器学习】逻辑回归

[机器学习]逻辑回归 优点:计算代价不高,易于理解和实现: 缺点:容易欠拟合,分类精度可能不高. 我们想要的是接收所有的输入,然后预测出类别.在两个类的情况下输出0或者1.这种性质的函数,也许原来你接触过,叫做Heaviside step function,即单位阶跃函数.但是这种瞬间的跳跃实际中很难处理.所以,这里我们采用Sigmoid函数. g(z)=11+e?z 为了实现Logistic回归分类器,我们在每个特征上乘以一个回归系数,再讲所有的结果相加,将这个总和带入Sigmoid函数中,得

机器学习-逻辑回归-分类

1. 逻辑回归 监督学习中另一个问题为分类问题,常见的分类问题例子有 邮件是否是垃圾邮件,0表示垃圾邮件,1表示正常邮件 在线交易是否会欺骗用户,0表示会欺骗,1表示不会 患肿瘤患者是良性还是恶性,0表示恶性,1表示良性 这些问题,可以归之于二分类问题,y表示因变量,取值0和1,可以定义如下 其中0表示负例,1表示正例 同理,对于多分类问题来说,因变量y的值可以取{0,1,2,3 ... n} 我们先从二分类问题入手,理解什么是逻辑回归模型 逻辑回归(Logistic Regression)是一

机器学习基础(四)逻辑回归

从这节算是开始进入"正规"的机器学习了吧,之所以"正规"因为它开始要建立价值函数(cost function),接着优化价值函数求出权重,然后测试验证.这整套的流程是机器学习必经环节.今天要学习的 话题是逻辑回归,逻辑回归也是一种有监督学习方法(supervised machine learning).逻辑回归一般用来 做预测,也可以用来做分类,预测是某个类别^.^!线性回归想比大家都不陌生了,y=kx+b,给定一堆数据点, 拟合出k和b的值就行了,下次给定X时,就

机器学习之——归一化线性回归与归一化逻辑回归

之前的博客里,跟大家分享了归一化(Regularization)的概念:保留所有的特征,但是减小参数的大小(Magnitude). 这一次捏,跟大家讨论讨论,归一化线性回归模型和归一化逻辑回归模型. 首先跟大家明确一件事,为什么有些机器学习的模型需要用到归一化这个方法呢?答案有两条: 归一化能够加快梯度下降的步伐,也就是获得最优解的速度 归一化能够提交模型的精度 具体的分析我们可以后续来讨论,这里就不赘述了. 归一化线性回归模型(Regularized Linear Regression) 我们

机器学习之——判定边界和逻辑回归模型的代价函数

判定边界(Decision Boundary) 上一次我们讨论了一个新的模型--逻辑回归模型(Logistic Regression),在逻辑回归中,我们预测: 当hø大于等于0.5时,预测y=1 当hø小于0.5时,预测y=0 根据上面的预测,我们绘制出一条S形函数,如下: 根据函数图像,我们知道,当  z=0时,g(z)=0.5  z>0时,g(z)>0.5  z<0时,g(z)<0.5 又有: 所以 以上,为我们预知的逻辑回归的部分内容.好,现在假设我们有一个模型: 并且参数

【机器学习调查】脏数据最棘手,逻辑回归最常用

数据科学社区Kaggle的最新调查显示,机器学习和数据科学研究者在被问到工作中面临的最大障碍时,最常见的回答是"脏数据",其次是缺乏该领域的人才.此外,他们最常用的方法是"逻辑回归",而神经网络只排在第4位. 想象一下机器学习研究者的生活,你可能会觉得很令人向往.你会给自动驾驶汽车编程,在科技界的巨头公司工作,而你编写的软件甚至可能导致人类的灭亡.太酷了!但是,正如最近一项针对数据科学家和机器学习研究者的调查所显示的,这些期待需要调整,因为这些职业面临的最大的挑战是

【机器学习算法-python实现】逻辑回归的实现(LogicalRegression)

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.背景知识       在刚刚结束的天猫大数据s1比赛中,逻辑回归是大家都普遍使用且效果不错的一种算法.   (1)回归                先来说说什么是回归,比如说我们有两类数据,各有50十个点组成,当我门把这些点画出来,会有一条线区分这两组数据,我们拟合出这个曲线(因为很有可能是非线性),就是回归.我们通过大量的数据找出这条线,并拟合出这条线的表达式,再有数据,我们就以这条线为区分来实现分类

机器学习算法的python实现之逻辑回归的实现(LogicalRegression)

1.背景知识 在刚刚结束的天猫大数据s1比赛中,逻辑回归是大家都普遍使用且效果不错的一种算法. (1)回归 先来说说什么是回归,比如说我们有两类数据,各有50十个点组成,当我门把这些点画出来,会有一条线区分这两组数据,我们拟合出这个曲线(因为很有可能是非线性),就是回归.我们通过大量的数据找出这条线,并拟合出这条线的表达式,再有数据,我们就以这条线为区分来实现分类.下图是我画的一个数据集的两组数据,中间有一条区分两组数据的线. 本栏目更多精彩内容:http://www.bianceng.cnht

斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.拟合问题        这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting).其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合.比如说我们有一个特征值X.就是容易造成欠拟合,因为这个结论是一条直线.但是,当我们把x平方,,这个式子就会得到比较好的拟合.但是当我们把x三次方,四次方...都加上,就会出现过拟合.这三种