机器学习_adaboost 算法

关于Adaboost算法的两篇论文

The Boosting Approach to Machine Learning

A Short Introduction to Boosting

论文内容基本相同,推荐完完整整看完其中一篇之后,在扫一下第二篇。

担心这两篇论文原始地址变了,上传一份csdn的资源,作为备份。

The Boosting Approach to Machine Learning An Overview

A Short Introduction to Boosting

我获益最大的内容:

        1.二分类问题下adaboost的算法步骤:

                                        

        步骤中各参数及其意义:

        Zt起到归一化Dt的概率分布的作用,使所有Dt(i)的总和为1,因此Zt为:

                                                                                         

2.为什么Adaboost多个弱分类器可以提高整体分类效果:

        2.1.Adaboost在训练样本上的误差上界为:

                                             

        2.2.证明通过添加一个分类误差大于>0.5的弱分类器,可以减小误差上界

                                         

3.Adaboost迭代次数的确定:

        机器学习的许多算法中,训练样本上的过度学习,会导致过拟合问题,这篇论文在<4 Generalization error>一节中

指出,adaboost在测试集合上的误差,与迭代次数无关,因此可以放心迭代降低分类器在训练样本上的误差,并且同时指出,

减少训练样本误差,有助于减少测试样本的误差。

          

在这里辨析两个概念:

分类(classfication)&回归(regression)

        分类在数据集上学习规则,对输入的特征,输出其对应的类别(离散值),其中类别由先验知识确定

        回归在数据集上拟合函数,对输入的特征,输出其对应的值(实数值),例如函数曲线拟合

可参考 Difference Between Classification and Regression

时间: 2024-12-09 20:25:24

机器学习_adaboost 算法的相关文章

机器学习常见算法分类汇总

机器学习无疑是当前数据分析领域的一个热点内容.很多人在平时的工作中都或多或少会用到机器学习的算法.本文为您总结一下常见的机器学习算法,以供您在工作和学习中参考. 机器学习的算法很多.很多时候困惑人们都是,很多算法是一类算法,而有些算法又是从其他算法中延伸出来的.这里,我们从两个方面来给大家介绍,第一个方面是学习的方式,第二个方面是算法的类似性. 学习方式 根据数据类型的不同,对一个问题的建模有不同的方式.在机器学习或者人工智能领域,人们首先会考虑算法的学习方式.在机器学习领域,有几种主要的学习方

一文读懂机器学习,大数据/自然语言处理/算法全有了……

作者:计算机的潜意识 在本篇文章中,我将对机器学习做个概要的介绍.本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践.这篇文档也算是EasyPR开发的番外篇,从这里开始,必须对机器学习了解才能进一步介绍EasyPR的内核.当然,本文也面对一般读者,不会对阅读有相关的前提要求. 在进入正题前,我想读者心中可能会有一个疑惑:机器学习有什么重要性,以至于要阅读完这篇非常长的文章呢? 我并不直接回答这个问题前.相反,我想请大家看两张图,下图是图一: 图1 机器学习界的执牛耳者

【阿里云大学课程】机器学习入门:概念原理及常用算法

AlaphaGo与围棋界的较量,吸引了全世界的目光,也让大家见识到了机器学习与人工智能技术的强大之处.你是不是也想学机器学习了? 机器学习是人工智能的一个分支.人工智能的研究是从以"推理"为重点到以"知识"为重点,再到以"学习"为重点,一条自然.清晰的脉络.显然,机器学习是实现人工智能的一个途径,即以机器学习为手段解决人工智能中的问题. 在维基百科中,机器学习有下面几种定义: 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如

8种常见机器学习算法比较

简介 机器学习算法太多了,分类.回归.聚类.推荐.图像识别领域等等,要想找到一个合适算法真的不容易,所以在实际应用中,我们一般都是采用启发式学习方式来实验.通常最开始我们都会选择大家普遍认同的算法,诸如SVM,GBDT,Adaboost,现在深度学习很火热,神经网络也是一个不错的选择.假如你在乎精度(accuracy)的话,最好的方法就是通过交叉验证(cross-validation)对各个算法一个个地进行测试,进行比较,然后调整参数确保每个算法达到最优解,最后选择最好的一个.但是如果你只是在寻

技术大牛带你走向机器学习“正道”:小朋友才迷信算法,大人们更重视工程实践

雷锋网按:"算法"这两字在人工智能圈已然成为"高大上"的代名词,由于不少在校生和职场新人对它的过度迷恋,多名 AI 资深人士均对这一现象表示担忧.李开复曾这样说到: 现在的 AI 科学家大部分是在科研环境中培养出来的,不但欠缺工程化.产品化的经验,而且对于错综复杂的商业环境也并不熟悉,更缺乏解决实际问题所必须的数据资源. 随着开源框架层出不穷,人工智能产品化和商业化进程不断加速,使得算法的门槛逐渐降低,但对工程的要求不断在提高.这种情况下,实际应用和工程能力基础扎实

想了解机器学习?你需要知道的十个基础算法

关于机器学习,你需要知道的十个基础算法 毫无疑问,作为人工智能的子领域-机器学习在过去的几年中越来越受欢迎.由于大数据是目前科技行业最热门的趋势,基于大量的数据机器学习在提前预测和做出建议方面有巨大的潜力.一些有关机器学习常见的例子有:Netflix基于你以前看过的电影再给你做出影片的推荐,或者亚马逊根据你以前买过的书籍再给你进行图书推荐. 如果想了解更多有关机器学习的知识,要从哪里开始呢?作者第一次入门是在哥本哈根海外交流时选了一门有关人工智能的课程.这门课程的讲师是丹麦科技大学(Techni

机器学习十大算法都是何方神圣?看完你就懂了

雷锋网(公众号:雷锋网)按:机器学习与人工智能变得越来越热.大数据原本在工业界中就已经炙手可热,而基于大数据的机器学习则更加流行,因为其通过对数据的计算,可以实现数据预测.为公司提供决策依据.跟我们生活息息相关的最常见机器学习算法包括电影推荐算法.图书推荐算法.这些算法都是基于你的电影观看记录或图书购买记录来给你做推荐的. James Le 在 KDnuggets 上发布了一篇文章,介绍了他是如何入门机器学习的.此外,他在其中摸索出十大常用的机器学习算法,并逐一进行介绍.雷锋网编译如下,未经许可

机器学习与数据挖掘基本算法初步介绍

随着互联网技术的发展,特别是web2.0时代的到来,互联网为我们提供了丰富的数据来源,如何充分的利用这些数据,挖掘用户信息,是下一代互联网急需解决的问题. 机器学习和数据挖掘主要是解决以下几个方面的问题,分类与预测,优化,独立特征提取等.机器学习的很多算法都是基于以下图1中模型来进行设计.  图1 学习系统模型 我们应对外界环境的刺激输入,在实践的过程中不断学习,获取经验知识,并且运用我们所学到的经验知识指导我们日常生活实践,通过实践效果的反馈,也就是所获得的经验教训,从而不断更新积累我们的阅历

机器学习算法一览(附python和R代码)

"谷歌的无人车和机器人得到了很多关注,但我们真正的未来却在于能够使电脑变得更聪明,更人性化的技术,机器学习. " -- 埃里克 施密特(谷歌首席执行官) ◆ ◆ ◆ 当计算从大型计算机转移至个人电脑再转移到云的今天,我们可能正处于人类历史上最关键的时期.之所以关键,并不是因为已经取得的成就,而是未来几年里我们即将要获得的进步和成就. 对我来说,如今最令我激动的就是计算技术和工具的普及,从而带来了计算的春天.作为一名数据科学家,我可以建造一个数据处理系统来进行复杂的算法运算,这样每小时能