盘点大数据给我们带来的三大根本性改变

2009年时,全世界关于大数据的研究项目还非常有限,从2011年开始,越来越多的管理者开始意识到,大数据将是未来发展不可规避的问题,而到2012年年底,世界财富500 强企业中90%的企业都开展了大数据的项目。IDC的研究显示,到2015年,大数据市场前景将达到169亿美元的规模。当前所有企业的商业数据每隔1.2年就将递增一倍。无疑,数据信息的大爆炸不断提醒着我们,未来将会因大数据技术而改变。

那么,大数据为什么成为所有人关注的焦点?大数据带来了什么样的本质性改变?为此,我们与中国计算机学会大数据学术带头人、中国人民大学信息学院院长杜小勇教授进行了访谈。

杜小勇教授认为,大数据带来了三大根本改变:

第一、大数据让人们脱离了对算法和模型的依赖,数据本身即可帮助人们贴近事情的真相;

第二、大数据弱化了因果关系。大数据分析可以挖掘出不同要素之间的相关关系。人们不需要知道这些要素为什么相关就可以利用其结果,在信息复杂错综的现代社会,这样的应用将大大提高效率;

第三、与之前的数据库相关技术相比,大数据可以处理半结构化或非结构化的数据。这将使计算机能够分析的数据范围迅速扩大。

杜小勇教授用例子更进一步阐述了上述观点:

第一、计算机科学在大数据出现之前,非常依赖模型以及算法。

人们如果想要得到精准的结论,需要建立模型来描述问题,同时,需要理顺逻辑,理解因果,设计精妙的算法来得出接近现实的结论。因此,一个问题,能否得到最好的解决,取决于建模是否合理,各种算法的比拼成为决定成败的关键。

然而,大数据的出现彻底改变了人们对于建模和算法的依赖。举例来说,假设解决某一问题有算法A 和算法B。在小量数据中运行时,算法A的结果明显优于算法B。也就是说,就算法本身而言,算法A能够带来更好的结果;然而,人们发现,当数据量不断增大时,算法B在大量数据中运行的结果优于算法A在小量数据中运行的结果。

这一发现给计算机学科及计算机衍生学科都带来了里程碑式的启示:当数据越来越大时,数据本身(而不是研究数据所使用的算法和模型)保证了数据分析结果的有效性。即便缺乏精准的算法,只要拥有足够多的数据,也能得到接近事实的结论。数据因此而被誉为新的生产力。

第二、当数据足够多的时候,不需要了解具体的因果关系就能够得出结论。

例如,Google 在帮助用户翻译时,并不是设定各种语法和翻译规则。而是利用Google数据库中收集的所有用户的用词习惯进行比较推荐。Google检查所有用户的写作习惯,将最常用、出现频率最高的翻译方式推荐给用户。

在这一过程中,计算机可以并不了解问题的逻辑,但是当用户行为的记录数据越来越多时,计算机就可以在不了解问题逻辑的情况之下,提供最为可靠的结果。可见,海量数据和处理这些数据的分析工具,为理解世界提供了一条完整的新途径。

第三、由于能够处理多种数据结构,大数据能够在最大程度上利用互联网上记录的人类行为数据进行分析。

大数据出现之前,计算机所能够处理的数据都需要前期进行结构化处理,并记录在相应的数据库中。但大数据技术对于数据的结构的要求大大降低,互联网上人们留下的社交信息、地理位置信息、行为习惯信息、偏好信息等各种维度的信息都可以实时处理,立体完整地勾勒出每一个个体的各种特征。

本文作者:佚名

来源:51CTO

时间: 2024-09-29 15:20:43

盘点大数据给我们带来的三大根本性改变的相关文章

大数据有多重要?盘点大数据给百姓带来的切实福利

"大数据对医疗的意义太大了,它能直接让老百姓受益啊."中国工程院院士.中国现代临床解剖学奠基人钟世镇在近日召开的2017数博会上感叹道.如今,大数据正在通过各种形式渗透到社会的各个方面,从物质到精神,以聚合的方式.全方位地为我们的生活服务,提供帮助. 大数据+医疗:让贫困农民得到更好的诊疗机会 钟世镇举例说,通过大数据和人工智能发展,手术机器人得以出现,虽然不能代替医生手术,但可以进行手术演示,通过演示,提高手术精准度,把病人的痛苦和创伤减小到最低程度. "不仅如此,大数据+

【海外深度思考】大数据用于教育带来的负面冲击

  原文标题:<how big data will haunt you forever your high school transcript>   如大多数美国大学一样,亚利桑那州立大学正面临一个棘手的问题 --- 新入学的学生们数学不够好.尽管学校会提供一些补习课程,但仍有三分之一左右的学生拿不到C,这意味着这些学生很有可能中途辍学.为了改变这种糟糕的现状,亚利桑那州立大学开始使用一款由Knewton科技教育公司提供的个性化学习软件,使用下来结果很好,在2009年至2011年期间学生的毕业

大数据将为中小企业带来具大发展潜力

在我们预测大数据的未来时,有一件事情似乎已经变得很清楚了.那就是互联网.无线网络.社交媒体.大量的移动设备.传感器以及每时每刻为我们带来海量新数据的数字技术将持续保持增长. 分析师们认为能够驾驭数据洪流的公司将会获得竞争优势.谷歌和脸谱等Web 2.0公司正率先进入大数据时代--数据无疑将成为他们的面包和黄油,他们将帮助研发大量新技术,让大数据利用成为可能.与此同时,大型企业也已经做好了通过使用大数据将公司推向一个新高度的准备.需求预测.目标营销.欺诈探测.医学研究--大数据似乎具有无限的应用潜

大数据给创业者带来什么新的机会

摘要: 大数据给创业者带来什么新的机会?一支由原IBM北美实验室人员组成的创业团队正在给出答案,创业公司通过基于大数据业务的模式创新刚刚获得了民生银行的合作大单,这家公司就是 大数据给创业者带来什么新的机会?一支由原IBM北美实验室人员组成的创业团队正在给出答案,创业公司通过基于大数据业务的模式创新刚刚获得了民生银行的合作大单,这家公司就是巨杉软件.该公司CTO王涛表示,大数据概念的出现改变了整个IT界,针对大数据业务的创新给创业者带来了机会. 数据库从诞生到现在,经历了几十年的时间,但是信息管

大数据给网络运营带来了什么

大数据分析现在是炒作焦点,很多企业都喜欢这样的想法,即通过对海量结构化.非结构化和部分结构化数据进行高级分析来发现意想不到的可操作业务洞察力.但所有这些数据处理是有代价的,特别是,这些数据会给网络带来影响. 大数据和大数据对网络运营影响的问题并不适合心脏虚弱的人.我们都知道,大数据工具并不成熟,并且,知道如何使用它们的人也供不应求.但先抛开这个 问题不谈,让我们来谈谈大数据给IT基础设施和运营带来的新负担.通过大数据技术,现在企业都开始想办法处理大量数据,而这些数据本来可能被抛弃或置之不 管.

大数据给保险业带来巨大商业价值

信息技术的进步在现代金融创新中发挥了极为重要的作用.而历史的经验告诉我们,大数据对金融业的影响将是全面和深刻的,金融业的经营理念.风险定价.产品设计.营销策略.客户服务.风险管控.组织构架乃至于金融监管,都必须适应大数据时代的要求. 但是,虽然这些年保险业在大数据战略和网络经营等方面进行了积极探索,但是相对于银行和证券公司,保险公司在电子化.数据化.移动化.平台化方面还处于相对落后状态.不仅大部分保险公司的内部数据没有完成整合,甚至数据还处于信息孤岛状态,保险公司对内部数据价值认识也不完整,大部

大数据市场未来将呈现三大发展趋势

随着移动互联网.物联网等的迅速发展,新数据源不断出现,而中国数据总量的不断增长,使大数据成为一种重要资源,有利于推动零售.旅游.医疗.金融.电信.政府公共服务各个领域的业务创新. 大数据转变企业商业模式 来自于线下大数据市场(IT企业的大数据应用及大数据平台业务市场)中IT巨头和单一大数据业务的厂商开始行动,优化产品和服务路线图;线上大数据 市场(互联网用户数据市场,以及以互联网金融为主的线上金融市场)的成熟度逐渐提高,以金融和零售为核心的线上大数据应用走向成熟,市场体量进一步扩大. 企业着力培

大数据时代创新性突破的三大方向

半年前开始讨论大数据时代的到来时,大数据还只是个专业小圈子里探讨的话题.到今天大数据这个概念已经在业界内外和大众媒体上沸沸扬扬地广为传播,并不断涌现出这个方向上的努力与创新了.正所谓"历史潮流,浩浩荡荡,顺之者昌,逆之者亡",这个过去只用在政治话题上的说法借过来描述大数据时代的到来与迅猛发展的形势真是再恰当不过. 站在不同角度看大数据,它既可能是大机会,大发展,大创新,也可能是大危机,大破坏,大淘汰. 目前,最活跃的领域是网络终端创新和网络基础设施创新,也就是所谓的大数据产业链的前台和

东软发布RealSight大数据高级分析应用平台 三大产品组合融合分析人事物

随着中国政府与企业数字化转型的深入,政府在提供智慧民生服务.企业在运营过程中更关注人.业务与物的融合,移动互联网技术的普及使企业与政府的边界呈现模糊化的趋势,物联网技术的成熟和大范围应用使企业虚拟化成为可能,物理资产实现数字化,数据的种类.规模.产生速度已经发生了本质性的变化. 近日,东软集团在京发布RealSight(睿见)大数据高级分析应用平台,帮助企业实现智能化运营,让大数据成为企业创新和转型的重要支撑. RealSight是建立在SaCa与UniEAP数据汇集.高级分析与展现产品组合基础