云计算和大数据有什么关系?

当大数据遭遇云计算

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

云计算为什么能盛行呢?在互联网领域应用系统的构建:客户群体是不确定的、系统规模不确定、系统投资不固定、业务应用有很清晰的并行分割特征、数据仓库系统的构建、数据仓库规模可估算、数据仓库的系统投资与业务分析的价值和回报相关、商业智能应用属于整体应用、Saas模式构建数据仓库系统。

大数据管理,分布式进行文件系统,如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持,以Hive+HADOOP为代表的SQL界面支持,在大数据技术上用云计算构建下一代数据仓库成为热门话题。

从系统需求来看,大数据的架构对系统提出了新的挑战:

1. 集成度更高。一个标准机箱最大限度完成特定任务。

2. 配置更合理、速度更快。存储、控制器、I/O通道、内存、CPU、网络均衡设计,针对数据仓库访问最优设计,比传统类似平台高出一个数量级以上。

3. 整体能耗更低。同等计算任务,能耗最低。

4. 系统更加稳定可靠。能够消除各种单点故障环节,统一一个部件、器件的品质和标准。

5. 管理维护费用低。数据藏的常规管理全部集成。

6. 可规划和预见的系统扩容、升级路线图。

云计算环境成为大数据处理平台

1. 云计算环境中基本计算单元的分化

企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台需要的是有并行运算能力的软件系统。同时,当所有用户的数据全部放在云端时,虽然存储容量可以很方便地扩充,但面对大量用户同时发起的海量数据处理请求,简单的数据处理逻辑已经无法满足需要。

可以看到,国内有相当多的电商企业,用小型机和Oracle扛了好几年,并请了全国最牛的Oracle的专家不停优化他的Oracle和小型机,初期发展可能很快,但是后来由于数据量激增,业务开始受到严重影响,最典型的例子无疑是京东商城前段时间发生的大规模访问请求宕机事件,因此他们开始逐渐放弃了Oracle或者MS-SQL,并逐渐转向MySQL+X86的分布式架构。

目前的基本计算单元常常是普通的X86服务器,它们组成了一个大的云,而未来的云计算单元里有可能有存储单元、计算单元、协调单元,总体的效率会更高。

2. 对系统稳定性的需求

在应对大规模访问的时候有一些系统稳定性的追求,来自很多方面,来自网络稳定性、数据库稳定性。对系统而言,需要把握一个大原则,需要消除任何单点故障。不光是网络上单点故障,还有来自你呼叫中心里的单点故障,只要有单点故障一定要消除掉。因为对于电商行业而言,每一秒都是钱,电子商务业务如果宕机一个小时,损失多少是可以算出来的,电商行业需要非常全面的技术系统监控报警系统。有时候你会发现你如果通过技术系统的监控去推导出你的技术发生问题已经晚了。

时间: 2024-10-30 18:22:54

云计算和大数据有什么关系?的相关文章

快速理解云计算与大数据之间的关系

如今一家优秀的互联网公司肯定的是拥有数据运营的公司,反之,不能从数据中获取利益的互联网公司的就不是云计算应用者.互联网.云计算以及大数据,如今成了三个密不可分的词汇.更进一步,挖掘数据价值很多企业都会做,但如果不能用最低成本得到数据价值,企业同样活不下去.把数据以低廉成本变成财富的东西就是云计算.从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分.大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构. 那么,云计算是如何帮助大数据将一堆堆杂乱信息转化成经济效益的呢? 首先,

一文读懂物联网、云计算与大数据的关系

ARM是微处理器行业的一家知名企业,设计了大量高性能.廉价.耗能低的RISC处理器.相关技术及软件.技术具有性能高.成本低和能耗省的特点.适用于多种领域,比如嵌入控制.消费/教育类多媒体.DSP和移动式应用等.ARM公司是专门从事基于RISC技术芯片设计开发的公司,作为知识产权供应商,本身不直接从事芯片生产,而是转让设计许可,由合作公司生产各具特色的芯片. 物联网是万物互联,基于互联网为人们提供更便捷.快速服务,物联网首先是基于互联网,把最底层设备的数据采集上来,供人们分析.处理.云服务是由于大

脑科学之物联网、云计算、大数据关系

脑科学与互联网本世纪初,随着互联网的发展,不断有新的应用和概念诞生,其中物联网,云计算和大数据得到了研究者的重点关注,并引起广泛的研究热潮. 研究者已经从不同方面对物联网,云计算,大数据进行了深入研究并取得诸多成果.但还存在一些问题等待解决,例如,物联网,云计算,大数据与互联网是怎样的关系,它们之间又是如何区分和关联的.本世纪初开始的互联网与脑科学的交叉对比研究,为分析物联网,云计算,大数据与互联网的关系奠定了基础. 如果我们观察近20年来互联网出现的新应用和新功能,可以直观的发现互联网与大脑结

一张图解读工业4.0与物联网,云计算和大数据的关系

互联网新概念层出不穷,在云计算,物联网,大数据火热之后,工业4.0在2014年受到越来越多的关注,在2015年成为新的热点之前,我们有必要了解这个新概念究竟是什么含义,它和其他互联网概念间到底是什么关系. 2013年4月,德国政府在2013年4月的汉诺威工业博览会上正式推出提出"工业4.0"战略,其目的是为了提高德国工业的竞争力,在新一轮工业革命中占领先机. 德国学术界和产业界认为,"工业4.0"概念即是以智能制造为主导的第四次工业革命,或革命性的生产方法.该战略旨

[阿里研究院]“互联网+”的动力:云计算、大数据与新分工网络

"互联网+"的深刻内涵 普适计算之父马克·韦泽说:最高深的技术是那些令人无法察觉的技术,这些技术不停地把它们自己编织进日常生活,直到你无从发现为止.而互联网正是这样的技术,它正潜移默化地渗透到我们的生活中来.所谓"互联网+"就是指,以互联网为主的一整套信息技术(包括移动互联网.云计算.大数据技术等)在经济.社会生活各部门的扩散.应用过程.互联网作为一种通用目的技术(General Purpose Technology),和100年前的电力技术,200年前的蒸汽机技术

中国工程院院士高文:运用好云计算、大数据会为城市发展带来变革

 5月19日,由中国电子学会主办,ZD至顶网协办的第八届中国云计算大会进入第二日程,国家自然基金委副主任.中国工程院院士.中国大数据专家委员会副主任委员高文在全体大会上带来了"大数据分析与智慧城市建设"的主题分享. 高文表示,"现在云计算.大数据也好,把数据挖掘出来,实际上会对我们整个的社会也好.城市也好带来很多好处.所以把大数据用好了,实际上对整个城市的生活,会带来很多变化." 以下是高文演讲实录:(以下内容根据现场速记整理,未经发言嘉宾确认,仅供参考,谢绝转载.

王坚:云计算和大数据,你们都理解错了

王坚,阿里巴巴最富争议性的人物之一,爱者极爱,恨者极恨. 5月12日,我和MTC的朋友,在杭州发起并主持了一场关于云计算的沙龙,虾米的思践聊了云音乐,快的打车陈伟星聊了云时代的产品设计,短趣网王强宇聊了云时代的创业,当然少不了王坚聊一聊他对云计算的看法. 当天,青龙老贼发了一段王坚的部分观点,遭遇了他开通微信公众号以来最强烈的退粉,也激起了圈内人的各种讨论,这就是王坚的"影响力". 我把王坚的分享做了个第一人称详细版的梳理,里面涉及了阿里云的定位.对大数据的反思.对APP创新的不看好,

云计算牵手大数据 背后是IT与业务的融合

一年又一年,云计算大会在中国走过第六个年头,这六年里也正是云计算从进入中国,到逐渐被接受到开始落地的六年. 2009年,第一届大会还停留在讨论云计算领域和范畴: 2010年,第二届大会界定云计算热点技术和应用: 2011年,第三届大会讨论与传统运营商关系,分享云计算实践经验: 2012年,第四届大会定义"云计算实践元年",技术深入剖析与行业实战经验交相呼应,OpenStack.CloudStack.Hadoop等平台研讨丝丝入扣: 2013年,第五届大会以"大数据大带宽推动云

云计算、大数据加速Linux取代Unix的步伐

随着云计算.大数据产业的快速发展,Linux已开始取代Unix成为最受青睐的操作系统.2012年,Gartner发布预测,到2017年,65%的应用将会从Unix迁移到x86架构中 (主要迁移至Linux).今年8月,Forrester Research也发布了最新的研究报告,83%的受访者当前正在服务器上运行Linux,还有超过40%的受访者正将Linux用于主要的服务器操作系统或顶级服务器平台. 近日,全球开源软件先锋SUSE与中国领先的服务器解决方案提供商浪潮(Inspur)达成合作协议,