人工智能、大数据与深度学习之间的关系和差异

网络上从不缺乏对数据科学术语进行比较和对比的文章。文笔各异的人写出了各式各样的文章,以此将他们的观点传达给任何愿意倾听的人。这几乎是势不可挡的。

所以我也记录一下,对于那些疑惑此文是否也是雷同的帖子。对,是这样的。

为什么再来一帖?我是这样想的,尽管可能有很多分散观点在定义和比较这些关联术语,但事实上是,这些术语中的大部分是流动变化的,并不完全约定俗成,坦率地说,与他人观点一同暴露是测试和优化自己的观点的最好方法之一。

所以,虽然大家可能不会完全(甚至是极低限度地)同意我对这些术语的大部分看法,但仍然能从中获得一些东西。数据科学中的一些核心概念需要被解释,或者至少在我看来是重要的,我会尽力阐述他们如何关联,以及答疑这些个体概念组合在一起时遇到的困惑。

在独立地思考概念之前,有个不同观点的例子,KDnuggets的Gregory Piatetsky-Shapiro的维恩图,概述了我们将要讨论的数据科学术语之间的关系。建议读者将此维恩图与目前Drew Conway的著名的数据科学维恩图,以及我下面的讨论和帖子底部的修改过程/关系图进行比较。我认为,尽管存在差异,但这些概念具有一定的相似性。

现在我们将对上述维恩图中圈选的6个核心概念进行分析,并提供一些关于如何将它们融入数据科学的洞察。我们很快就会摒弃过去十年最热门的一些术语。

大数据(Big Data)

有各种各样的文章在定义大数据,我不打算花太多时间在这个概念上。简单地来说,大数据通常被定义为“超出常用软件工具捕获,管理和处理能力”的数据集。 大数据是一个移动目标; 这个定义既模糊又准确,足以捕捉其主要特征。

至于其他的概念,我们将通过调查,很好的获得搜索字词的流行度和N-gram频率模型的一些初步了解,以便将这个难点与热点炒作分开。鉴于这两个概念相对较新,从1980年至2008年,N-gram频率模型作为一个“旧”的概念如上图所示。

最近的Google趋势显示2个新词上升,另外2个保持持续上升,以及最后一个逐渐下降但有明显的下降。请注意,由于已经对数据进行了定量分析,‘大数据’未包含在上述图形中。继续阅读,以便进一步了解观测结果。

机器学习(Machine learning)

据Tom Mitchell在关于这个主题的创作书中阐述,机器学习“关心的问题是如何构建计算机程序使用经验自动改进”。机器学习本质上是跨学科的,采用计算机科学,统计学和人工智能等方面的技术。机器学习研究的主要工作是促进经验自动改进的算法,可以应用于各种不同领域。

我不认为有人会怀疑机器学习是数据科学的核心组成。我在下面给出数据科学的详细描述,如果你认为在一个非常高的水平上其目标是从数据中获取洞察力,其实机器学习是允许此过程自动化的。机器学习与古典统计学有很多共同点,因为它使用样本来推断和概括。数据统计更多地侧重于描述性(尽管可以通过外推来预测),机器学习对描述性分析的关注很少,并且仅将其用作中间步骤以便能够进行更好预测。机器学习通常被认为是模式识别的同义词;真的不会从我这里发生太多的分歧,我相信,‘模式识别’这个术语意味着实际上是一个比机器学习更不复杂和更简单化的过程,这就是为什么我倾向于回避它。

机器学习与数据挖掘有着复杂的关系。

数据挖掘(Data Mining)

Fayyad,Piatetsky-Shapiro&Smyth将数据挖掘定义为“从数据中提取模式的特定算法的应用”。这表明,在数据挖掘中,重点在于算法的应用,而不是算法本身。我们可以定义机器学习和数据挖掘之间的关系如下:数据挖掘是一个过程,在此过程中机器学习算法被用作提取数据集中的潜在有价值模式的工具。

‘数据挖掘’作为机器学习的姊妹术语,也是数据科学的关键。在数据科学术语爆发泛滥之前,事实上,数据挖掘’在Google搜索术语中取得了更大的成功。看看Google趋势比上图显示的还要早5年,数据挖掘’曾经更受欢迎。然而,今天,数据挖掘’似乎被划分为机器学习和数据科学之间的概念。若有人同意上述解释,数据挖掘是一个过程,那么将数据科学视为数据挖掘的超集,那么后续的术语都是有意义的。

深度学习(Deep Learning)

尽管在早期的在线搜索急剧爆发之前它已经存在,‘深度学习’仍是一个相对较新的术语。由于学术研究和工业的蓬勃发展,其在不同领域取得了巨大成就,深度学习是应用深层神经网络技术(即具有多个隐藏层的神经网络架构)来解决问题。深度学习是一个类似数据挖掘的过程,它采用深层神经网络架构,这是特定类型的机器学习算法。

深度学习已经取得了令人印象深刻的成就。有鉴于此,至少在我看来,务必要注意几点:

  • 深度学习不是灵丹妙药 – 对于每个问题来说,并不是一个简单一刀切的解决方案。
  • 这不是传说中的万能算法 – 深度学习不会取代所有其他机器学习算法和数据科学技术,至少还没有被证明是这样。
  • 适度的期望是必要的 – 尽管最近在各种类型的分类问题上,特别是计算机视觉和自然语言处理以及强化学习等领域已经取得了巨大的进步,但当代深度学习并没有扩大到非常复杂的问题,例如“解决世界和平”。
  • 深度学习和人工智能不是同义词。

深度学习可以帮助数据科学以附加过程和工具的形式解决问题,而在这种观察中,深入学习是数据科学领域的一个非常有价值的补充。

人工智能

大多数人发现人工智能很难用一个精确的,甚至是广泛的定义讲出来。我不是一个人工智能研究者,所以我的答案可能与其他领域的人差别很大。多年来通过对AI的思想哲学研究,我得出的结论是,人工智能,至少我们通常认为的想法的概念,实际上并不存在。

在我看来,AI是一个标尺,一个移动目标,一个渴望而不可及的目标。每当我们迈向AI成就之路,不知何故,这些成就似乎又变成了被称为其他的东西。

我曾经读过如下内容:如果你在上世纪60年代问AI的研究人员,他们对AI的想法是什么,他们可能会一致认为,可以帮助我们预测下一步行动和欲望,所有人类知识可以随时获取,一个适合我们口袋的小型设备就是真实的AI。但是今天我们都携带智能手机,很少有人会把它们称为人工智能。

AI适合数据科学?嗯,正如我所说,我不认为AI真的是有形的,我想很难说它适合任何地方。但,一些数据科学和机器学习相关领域,人工智能可以提供助力,有时与实体一样有价值;计算机视觉肯定会引起注意,现代深度学习研究也是如此,得益于人工智能的精神气质,若不是无限期的话。

AI可能是研究和开发设备,从来没有在同名行业中产生任何东西。我想说,从AI到数据科学的这条路径可能不是查看两者之间的关系的最佳方式,但是两个实体之间的许多中间步骤已经被AI以某种形式开发和完善了。

数据科学(Data Science)

那么,在讨论这些相关概念和数据科学的地位之后,数据科学究竟是什么呢?对我来说,这是试图精确定义的一个最难的概念。数据科学是一个多方面的学科,包括机器学习和其他分析过程,统计学和相关的数学分支,越来越多地从高性能科学计算中借鉴,以便最终从数据中发现洞察,并使用这些新发现的信息来讲述故事。这些故事通常伴随着图片(我们称之为可视化),并针对行业,研究甚至是我们自己,目的是从数据中获取一些新的想法。

数据科学采用相关领域的各种不同工具(请参阅上面所有内容)。数据科学既是数据挖掘的同义词,也是数据挖掘概念的超集。

数据科学产生各种不同的结果,但它们都具有共同的洞察力。数据科学是这一切,而且对你而言,它可能还有别的东西,而且甚至还没有涵盖获取,清理,判别和预处理数据!顺便说一下,什么是数据呢?它总是大吗?

我认为我的关于数据科学困惑的观点,至少可以通过上图的版本来代表它,以及这篇文章的顶部的Piatetsky-Shapiro的维恩图。我也建议大多数与Drew Conway的数据科学维恩图一致,尽管我会补充一点:我认为他非常合理且实用的图像实际上是指数据科学家,而不是数据科学。这可能是吹毛求疵,但我不认为数据科学本身包含黑技能;我相信这是科学家拥有的技能,以便能够进行数据科学。诚然,这可能是对语义的嘲弄,但在我心中是有道理的。

当然,这不是一个宏图的全景,它在不断地演变。例如,我记得不久以前的一次阅读,数据挖掘是商业智能的一个子领域。即使有不同的意见,我真的不能想象今天这是一个有效的想法(坦率地说,几年前很难接受)。

本文作者:佚名

来源:51CTO

时间: 2024-10-25 16:28:05

人工智能、大数据与深度学习之间的关系和差异的相关文章

工智能、大数据与深度学习之间的关系和差异

网络上从不缺乏对数据科学术语进行比较和对比的文章.文笔各异的人写出了各式各样的文章,以此将他们的观点传达给任何愿意倾听的人.这几乎是势不可挡的. 所以我也记录一下,对于那些疑惑此文是否也是雷同的帖子.对,是这样的. 为什么再来一帖?我是这样想的,尽管可能有很多分散观点在定义和比较这些关联术语,但事实上是,这些术语中的大部分是流动变化的,并不完全约定俗成,坦率地说,与他人观点一同暴露是测试和优化自己的观点的最好方法之一. 所以,虽然大家可能不会完全(甚至是极低限度地)同意我对这些术语的大部分看法,

简单读懂人工智能:机器学习与深度学习是什么关系

引言:随着AlphaGo战胜李世石,人工智能和深度学习这些概念已经成为一个非常火的话题.人工智能.机器学习与深度学习这几个关键词时常出现在媒体新闻中,并错误地被认为是等同的概念.本文将介绍人工智能.机器学习以及深度学习的概念,并着重解析它们之间的关系.本文将从不同领域需要解决的问题入手,依次介绍这些领域的基本概念以及解决领域内问题的主要思路. 本文选自<Tensorflow:实战Google深度学习框架>. 从计算机发明之初,人们就希望它能够帮助甚至代替人类完成重复性劳作.利用巨大的存储空间和

大数据与深度学习如何让你在下班路上少堵一会儿?

当你在手机上的公交App里查询112路还有几站到时,是否觉得这不过就是公交车装上GPS的事儿?当你下班路上在百度/高德看着满城的红色"沦陷区"一筹莫展时,可有抱怨过地图App只能提示拥堵,却并不能解决拥堵?当你在赶往机场的路上被一路红灯道道阻拦.急火攻心时,可曾想过为什么信号灯偏偏跟你过不去? 在对于无人驾驶的畅想中,解决交通拥堵,减少浪费在路上的无谓时间是很多人的美好期待(据2016年数据,北京市工作日平均每天堵车约3个小时).然而,然而车与车之间的数据共享与时时"沟通&q

一篇文章搞懂人工智能、机器学习和深度学习之间的区别

概述 2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源.这两年在不管在国内还是在国外,人工智能.机器学习仿佛一夜之前传遍大街小巷.机器学习作为人工智能的一种类型,可以让软件根据大量的数据来对未来的情况进行阐述或预判.如今,领先的科技巨头无不在机器学习下予以极大投入.Facebook.苹果.微软,甚至国内的百度,Google 自然也在其中. 去年早些时候 Google DeepMind 的 AlphaGo 项目在举世瞩目的围棋比赛中一举击败了韩国选手李世石,媒体就是

大数据服务及未来——人工智能+大数据生态模式

2012年大数据是个流行词,没想到4年过后,在一些大数据论坛上还有人会说"如果我有大数据,我会怎样怎样--."好吧,如果还停留在如果上,就不该随便上论坛演讲,讲不好说不准工作都没了.现在大数据挖掘的技术都很成熟,更完善更系统的解决方案早已有人做得非常好.如果连数据都还没有,那就什么都不用提了.毕竟,人工智能+大数据的生态模式已经开启. 7月初,据外媒福布斯报道百度将人工智能+大数据为中国政府采集数据提供支持.7月13日,李彦宏在百度的开放云战略发布会上首度公开百度开放云"人工

《中国人工智能学会通讯》——4.38 漫谈小样本的类人概念学习与大数据的深度强化学习

4.38 漫谈小样本的类人概念学习与大数据的深度强化学习 Artificial Intelligence,人工智能,最近非常火热的话题,也算是人类最美好的梦想之一.但是非常可惜,即便 AlphaGO 已经成功挑战了人类智力游戏的最后的一块高地--围棋,到目前为止仍然还没有看到人工智能产生"自我"意识的希望:也就说,人工智能至少现在阶段还无法超越人类智慧,即便在学习和识别方面,人工智能和人类相比还是存在较大差距. 人工智能,与计算机之父图灵的名字紧紧联系在一起,但是这位大师被当时英国当局

人工智能、机器学习、深度学习的区别在哪?

有人说,人工智能(Artificial Intelligence)是未来.人工智能是科幻小说.人工智能已经是我们日常生活的一部分.所有这些陈述都 ok,这主要取决于你所设想的人工智能是哪一类. 例如,今年早些时候,Google DeepMind 的 Alphago 程序击败了韩国围棋大师李世乭九段.人工智能.机器学习和深度学习这些词成为媒体热词,用来描述 DeepMind 是如何获得成功的.尽管三者都是 AlphaGo 击败李世乭的因素,但它们不是同一概念. 区别三者最简单的方法:想象同心圆,人

《Web安全之机器学习入门》一 1.1 人工智能、机器学习与深度学习

1.1 人工智能.机器学习与深度学习 如今,人工智能.机器学习与深度学习几乎成了家喻户晓的名词,究竟这三者之间有什么联系和区别呢? 通常认为,机器学习是实现人工智能的主要方式,人类基于机器学习以及海量的数据,逐步实现人工智能,其中深度学习是机器学习的一个分支.如果用同心圆来表示三者的范围,那么人工智能是最外面的一个圆,深度学习是最里面的圆.人可以在1秒以内做出的判断,都可以用机器来实现,而且机器可以同时完成成百上千人1秒内可以做出的判断,这就是人工智能.

中国人工智能学会通讯——后深度学习时代的人工智能

1956 年,在美国达特茅斯学院举行的一次会议上,"人工智能"的研究领域正式确立.60 年后的今天,人工智能的发展正进入前所未有的大好时期.我今天作的报告,将通过分析时代的特点,这个时代下人工智能与计算机的可能命运,来重新认识人工智能.认识我们赖以生存的计算机,还有我们自己. 后深度学习时代的前提 我们看到如今人工智能的春天又来了,不过和 30 年前日本兴起的人工智能热潮相比,发生了如下变化:时间不同.地点不同.主题也不同.这次人工智能的大发展与深度学习紧密相关,体现在:① 从知识情报