数学-机器学习中关于互信息和信息增益的关系

问题描述

机器学习中关于互信息和信息增益的关系
最近看 数学之美 上面 互信息 的公式是
I(X;Y)=H(X)-H(X|Y)
又看到 统计学习方法 上有一个 信息增益 的公式
G(DA)=H(D)-H(D|A)
这不是一样吗?难道互信息就是信息增益?
还是说G(DA)里面的这个D指的是系统总的熵?而互信息是两个变量的关系?
想不明白,大神请明示。

解决方案

在决策树里面那个信息增益就是互信息

时间: 2024-11-01 05:03:38

数学-机器学习中关于互信息和信息增益的关系的相关文章

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

版权声明:    本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任. 前言:    上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是stanford的machine learning公开课,在verycd可下载,可惜没有翻译.不过还是可以看.另外一个是prml-pattern r

机器学习中决策树的原理与算法 | 科普

雷锋网(公众号:雷锋网)按:本文作者栗向滨,中科院自动化所复杂系统国家重点实验室研究生毕业,机器学习与计算机视觉方向算法工程师.雷锋网首发文章. 我们知道,在机器学习中有两类十分重要的问题,一类是分类问题,一类是回归问题.我们今天所要探讨的就是在分类和回归问题中所用到的一种非常基本的方法,叫决策树.决策树也是重要的标签学习方法.这篇文章里面的部分内容来自于 AI 慕课学院的<机器学习理论与实战高级特训班>课程笔记. 从名字来看,决策的的意思就是在众多类别中我们需要决策出我们分类的东西是属于哪一

机器学习中的算法(1)-决策树模型组合之随机森林与GBDT

机器学习中的算法(1)-决策树模型组合之随机森林与GBDT. 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比如说容易over-fitting,虽然有一些方法,如剪枝可以减少这种情况,但是还是不够的. 模型组合(比如说有Boosting,Bagging等)与决策树相关的算法比较多,这些算法最终的结果是生成N(可能会有几百棵以上)棵树,这样可以大大的减少单决策树带来的毛病,

追剧学AI (6) | 概率论在机器学习中的迁移运用,手把手建一个垃圾邮件分类器

人工智能中的数学概念一网打尽!欢迎来到YouTube网红小哥Siraj的系列栏目"The Math of Intelligence",本视频是该系列的第6集,讲解 概率论在机器学习中的运用,看完视频后,大家会学到一个生活中非常实用的技能喔! (大数据文摘已获得Siraj本人翻译授权) 大家好,我是Siraj. 让我们将目光高度聚焦在概率论在机器学习中扮演的角色,通过从头开始构建一个垃圾邮件分类器. 数学概念在生活中的应用 生活中充满了不确定性,我们尝试一些自己觉得会成功的事情,但我们无

周志华撰文介绍机器学习两大派别;机器学习中常用激活函数的总结与比较 | AI开发者日报

周志华:机器学习有这两大派别,新人入门别跟错队 机器学习作为近年来非常火的一个概念,关注者追随者甚众,然而它的渊源及由来却鲜有人知晓.南京大学的周志华教授在近期的 AIDL2<机器学习前沿>会议上分享介绍了机器学习的两大派别,以及入门需要注意的一些要点.雷锋网整理如下: 详情:http://www.leiphone.com/news/201702/z1aKZcHhkdKtQFoa.html CitizenNet博客:商业系统中的随机森林算法,集合和性能指标 本文由CitizenNet的首席科学

结合美团下单率预测详解机器学习中的数据清洗与特征处理

目前在美团的团购系统中大量地应用到了机器学习和数据挖掘技术,例如个性化推荐.筛选排序.搜索排序.用户建模等等.本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖掘方法. 综述 机器学习框架 如上图所示是一个经典的机器学习问题框架图.数据清洗和特征挖掘的工作是在灰色框中框出的部分,即"数据清洗=>特征,标注数据生成=>模型学习=>模型应用"中的前两个步骤. 灰色框中蓝色箭头对应的是离线处理部分.主要工作是 从原始数据,如文本.图像或者应用数据中清洗出特征数据和

纯干货 | 机器学习中梯度下降法的分类及对比分析(附源码)

更多深度文章,请关注:https://yq.aliyun.com/cloud HackerEarth,一家来自印度的创业公司,旨在帮助开发者通过线上编程竞赛获得工作机会.和Github类似,它提供一个多种编程语言的代码交流平台.而HackerEarth blog 上多刊登一些跟大数据.人工智能.机器学习.算法及编程竞赛相关的博文. 引言       梯度下降法 (Gradient Descent Algorithm,GD) 是为目标函数J(θ),如代价函数(cost function), 求解全

机器学习中,使用Scikit-Learn简单处理文本数据

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud   机器学习中,我们总是要先将源数据处理成符合模型算法输入的形式,比如将文字.声音.图像转化成矩阵.对于文本数据首先要进行分词(tokenization),移除停止词(stop words),然后将词语转化成矩阵形式,然后再输入机器学习模型中,这个过程称为特征提取(feature extraction)或者向量化(vectorization).本文会教你使用Scikit-Learn机器学习库中的三种模型来实现

[译]如何处理机器学习中的不平衡类别

本文讲的是[译]如何处理机器学习中的不平衡类别, 原文地址:How to Handle Imbalanced Classes in Machine Learning 原文作者:elitedatascience 译文出自:掘金翻译计划 本文永久链接:github.com/xitu/gold-m- 译者:RichardLeeH 校对者:lsvih, lileizhenshuai 如何处理机器学习中的不平衡类别 不平衡类别使得"准确率"失去意义.这是机器学习 (特别是在分类)中一个令人惊讶的