斯坦福机器学习公开课学习笔记(2)—监督学习 梯度下降

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.感受

        这一节课Andrew讲的是监督学习应用中的梯度下降方法(Supervised-Learning,grading and descent)。

        公式比较多,不过还比较基础,主要是一些矩阵论的应用。

2.笔记   

      Grading and descent 主要用到的就是一个回归的思路。整体的流程见下图。

      X1,X2....表示的不同的特征,经过算法H的变化,输出Y1,Y2......。可以用公式表达为,X边上的变量就是我们要回归得到的系数。

     判断公式。这个ml回归中常用的判断公式,当J函数取到最下情况就是我们所需要的结果。

     Andrew形容梯度下降好比一个下山问题。我们首先随机选择出发点,也就是的取值,然后通过J函数求导,不断改变的值,得到最终的回归公式。这就类比于我们一步一步下山,直到山底,值不再变化。

    梯度下降还有一个特点就是最终的值根据不同的出发点而不同。

    

时间: 2024-09-28 07:26:56

斯坦福机器学习公开课学习笔记(2)—监督学习 梯度下降的相关文章

斯坦福机器学习公开课学习笔记(1)—机器学习的动机与应用

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.背景         斯坦福机器学习公开课差不多是网上能找到的最好的机器学习入门课程了.现在一共有20节课放到网络上,博主是在网易公开课学的,那里的视频有中文字幕然后课件也很全. (地址:http://v.163.com/special/opencourse/machinelearning.html)        主讲师Andrew Ng(已经被百度诏安了)是华裔科学家,看他的课特别有亲切感.感觉他们的

斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.拟合问题        这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting).其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合.比如说我们有一个特征值X.就是容易造成欠拟合,因为这个结论是一条直线.但是,当我们把x平方,,这个式子就会得到比较好的拟合.但是当我们把x三次方,四次方...都加上,就会出现过拟合.这三种

传智播客c/c++公开课学习笔记--C语言与木马恶意代码分析和360安全防护揭秘

黑客代码分析与预防 笔记 [课程简介] C/C++语言是除了汇编之外,最接近底层的计算机语言,目前windows,linux,iOS,Android等主流操作系统都是用C/C++编写的,所以很多病毒.木马也都是用C/C++实现的.课程的目的就是通过C语言揭秘木马和各种远程控制软件的实现原理以及如何防护.  [课程知识点] 1.木马入侵系统的方式: 2.木马入侵到宿主目标后的关键行为分析: 3.可信任端口以及端口扫描技术: 4.远程控制的实现代码实现: 5.恶意代码中使用TCP.UDP协议与防火墙

传智播客c/c++公开课学习笔记--邮箱账户的破解与邮箱安全防控

一.SMTP协议         SMTP(SimpleMail Transfer Protocol)即简单邮件传输协议.SMTP协议属于TCP/IP协议簇,通过SMTP协议所指定的服务器,就可以把E-mail寄到收信人的服务器上.SMTP服务器则是遵循SMTP协议的发送邮件服务器,用来发送或中转发出的电子邮件.         SMTP使用TCP提供的可靠的数据传输服务把邮件消息从发信人的邮件服务器传送到收信人的邮件服务器.跟大多数应用层协议一样,SMTP也存在两个 端:在发信人的邮件服务器上

传智播客c/c++公开课学习笔记--Linux网络流媒体服务器的核心代码揭秘

Xinetd     从守护进程的概念可以看出,对于系统所要通过的每一种服务,都必须运行一个监听某个端口连接所发生的守护进程, 这通常意味着资源浪费. 为了解决这个问题,Linux引进了"网络守护进程服务程序"的概念.xinted(extended InterNET daemon) xinetd同时监听多个指定的端口,接受用户请求时,根据请求端口,启动不同的网络服务进程来处理这些用户请求. 可以把xinetd看做一个管理启动服务的管理服务器,它决定把一个客户请求交给哪个程序处理,然后启

开发者入门必读:最值得看的十大机器学习公开课

在当下的机器学习热潮,人才匮乏十分显著.截至目前,国内开设人工智能(AI)专业的高校不多,相当多的开发者是跨界入门,需要自学大量知识并摸索.因而优质的学习资源至关重要.因此,雷锋网搜集了全世界范围内最受欢迎的机器学习课程,整理成这份"机器学习十大入门公开课"盘点,集中呈现给各位.这份推荐榜颇费心血,综合考虑了难易.侧重点.时效性等诸多因素,希望能帮助大家找到最适合自己的学习资源. 这些课程全部免费开放,但有些需翻墙,有的缺少中文字幕. 1. 吴恩达"机器学习"公开课

斯坦福创业公开课第九讲:如何融资

斯坦福创业公开课How to Start a Startup第九讲今天推出,由硅谷顶级投资大佬,网景创始人 Marc Andreessen,著名天使投资人Ron Conway 和 Zenefits 创始人Parker Conrad联合分享,讨论创业的重量级话题-如何融资, 很多真知灼见.本次分享以问答的方式进行,YC掌门人Sam Altman带领大家提问,对于融资中创业者的常见疑惑一一作答,难能可贵的坦诚分享.本讲分享亮点如下:问题一:你如何决定是否投资一个创业团队/公司?答:- Ron: 我们

Andrew Ng机器学习公开课笔记–Principal Components Analysis (PCA)

网易公开课,第14, 15课  notes,10 之前谈到的factor analysis,用EM算法找到潜在的因子变量,以达到降维的目的 这里介绍的是另外一种降维的方法,Principal Components Analysis (PCA), 比Factor Analysis更为直接,计算也简单些 参考,A Tutorial on Principal Component Analysis, Jonathon Shlens   主成分分析基于, 在现实中,对于高维的数据,其中有很多维都是扰动噪音

Andrew Ng机器学习公开课笔记 -- 学习理论

网易公开课,第9,10课  notes,http://cs229.stanford.edu/notes/cs229-notes4.pdf 这章要讨论的问题是,如何去评价和选择学习算法   Bias/variance tradeoff 还是用这组图,学习算法追求的是generalization error(对未知数据的预测误差),而不是training error(只是对训练集) 最左边,underfit,我们说这种学习算法有较大的bias  Informally, we define the b