云计算和大数据是一个硬币的两面

移动互联时代,数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据

即便是在“摩尔定律”——每18个月芯片性能将提高1倍——的支撑下,硬件性能进化的速度也早已赶不上数据增长的速度,并且差距越来越巨大。

1分钟之内,新浪微博发送数万条微博,苹果应用商店下载次数以万计,淘宝卖出了几万件商品,百度产生了百万次搜索查询……所有这些行为都由海量的数据来呈现。

在去年12月12日电商的促销期,淘宝网推出“时光机”——一个根据淘宝买家几年来的购买商品记录、浏览点击次数、收货地址等数据编辑制作的“个人网购志”,从而记录和勾勒出让人感怀的生活记忆。背后,是基于对4.7亿淘宝注册用户网购数据的分析处理,这正是大数据的典型应用。

随着传统互联网向移动互联发展,全球范围内,除了个人电脑、平板电脑、智能手机、游戏主机等常见的计算终端之外,更广阔的、泛在互连的智能设备,比如智能汽车、智能电视、工业设备和手持设备等都连接到网络之中。基于社会化网络的平台和应用,让数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据。

互联网搜索引擎是大数据最为典型的应用之一。百度日处理数据量达到数十PB,并呈现高速增长的态势。如果一张光盘容量为1GB,这相当于垒在一起的几千万张光盘。微软Bing(在中国为必应)搜索引擎,一周需要响应100亿次量级的搜索请求。通过和Facebook的合作,每天有超过10亿次的社交网络搜索请求通过Bing来处理。

短短的18个月,中国移动互联网流量增加了10倍。中国工程院院士邬贺铨说,随着社交网络的逐渐成熟、移动带宽迅速提升,更多的传感设备、移动终端接入网络,产生的数据及其增长速度比历史上任何时期都要多,互联网上的数据流量正在迅猛增长。邬贺铨认为,在云计算、物联网等技术的带动下,中国的移动互联网已经步入“大数据”时代。

而根据市场调研公司IDC的报告,全球信息总量每过两年就会增长一倍,2011年全球产生的数据总量为1.8ZB(1ZB约为百万PB),相比2010年增长了1ZB,相当于全球历史数据总和。

继云计算后,大数据(big data)成为信息技术领域最为热门的概念之一。

大数据有四个特征,最重要的是获得洞察力和价值

在IT业界,有人把大数据产业定义为:“建立在对互联网、物联网等渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业”,或者如IT巨头概括大数据战略为:“致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力,包括之前隐藏在非结构化数据中的洞察力”。

“总之是对大量、动态、能持续的数据,通过运用新系统、新工具、新模型的挖掘,从而获得具有洞察力和新价值的东西。”微软公司全球资深副总裁、微软亚太研发集团主席张亚勤博士接受记者采访时说。

虽然有多种解读,但业界一般认为,大数据有四个“V”字开头的特征:Volume(容量), Variety(种类), Velocity(速度)和最重要的Value(价值)。Volume是指大数据巨大的数据量与数据完整性。张亚勤说,IT业界所指的数据,诞生不过60多年。而一直到个人电脑普及前,由于存储、计算和分析工具的技术和成本限制,许多自然界和人类社会值得记录的信号,并未形成数据。几十年前,气象、地质、石油物探、出版业、媒体业和影视业是大量、持续产出信号的行业,但那时90%以上采用的是存储模拟信号,难以通过计算设备和软件进行直接分析。拥有大量资金和人才的政府和企业,也只能把少量最关键的信号,进行抽取、转换、装载到数据库中。

张亚勤认为,尽管业界对达到怎样的数量级才算是大数据并无定论,但在很多行业的应用场景里,数据集本身的大小并不是最重要的,是否完整才最重要。

Variety则意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代,各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代,个人计算机用户不仅可以通过网络获取信息,还成为了信息的制造者和传播者。这个阶段,不仅是数据量开始了爆炸式增长,数据种类也开始变得繁多。

“这必然促使我们对海量数据进行分析、处理和集成,找出原本看来毫无关系的那些数据的‘关联性’,把似乎没有用的数据变成有用的信息,以支持我们做出的判断。”张亚勤说。

Velocity可以理解为更快地满足实时性需求。数据的实时化需求正越来越清晰。对普通人而言,开车去吃饭,会先用移动终端中的地图查询餐厅的位置,预计行车路线的拥堵情况,了解停车场信息甚至是其他用户对餐厅的评论。吃饭时,会用手机拍摄食物的照片,编辑简短评论发布到微博或者微信上,还可以用LBS(基于位置的服务)应用查找在同一间餐厅吃饭的人,看有没有好友在附近……

张亚勤说,如今,通过各种有线和无线网络,人和人、人和各种机器、机器和机器之间产生无处不在的连接,这些连接不可避免地带来数据交换。而数据交换的关键是降低延迟,以近乎实时——这意味着小于250毫秒——的方式呈献给用户。

“但比前面3个‘V’更重要的,就是Value,它是大数据的最终意义——获得洞察力和价值。”张亚勤说,大数据的崛起,正是在人工智能、机器学习和数据挖掘等技术的迅速发展驱动下,呈现这么一个过程:将信号转化为数据,将数据分析为信息,将信息提炼为知识,以知识促成决策和行动。

百度相关专家认为,就大数据的价值而言,就像沙子淘金,大数据规模越大,真正有价值的数据相对越少。

“所以真正好的大数据系统,重要的不是越多越好,其实越少越好。”张亚勤说,开始数据要多,最好还是要少,把ZB、PB最终变成一个比特,也就是最后的决策。这才是最关键的。

云计算和大数据是一个硬币的两面,大数据正在引发全球范围内深刻的技术和商业变革

如同云计算的出现,大数据也不是一个突然而至的新概念。

“云计算和大数据是一个硬币的两面,云计算是大数据的IT基础,而大数据是云计算的一个杀手级应用。”张亚勤说。云计算是大数据成长的驱动力,而另一方面,由于数据越来越多、越来越复杂、越来越实时,这就更加需要云计算去处理,所以二者之间是相辅相成的。

30年前,存储1TB也就是约1000GB数据的成本大约是16亿美元,如今存储到云上只需不到100美元;但存储下来的数据,如果不以云计算进行挖掘和分析,就只是僵死的数据,没有太大价值。

目前,云计算已经普及并成为IT行业主流技术,其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存,企业客户根据自身需求,可以搭建自己的“私有云”,或托管、或租用“公有云”上的IT资源与服务,这些都已不是新鲜事。可以说,云是一棵挂满了大数据的苹果树。

大数据的出现,正在引发全球范围内深刻的技术与商业变革。在技术上,大数据使从数据当中提取信息的常规方式发生了变化。“在技术领域,以往更多是依靠模型的方法,现在我们可以借用规模庞大的数据,用基于统计的方法,有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。”张亚勤说。

在搜索引擎和在线广告中发挥重要作用的机器学习,被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式,计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及,计算系统正在具备与人类相仿的感知能力,其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力,与大数据以及机器学习领域的进展相结合,已使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们,甚至代表我们去工作”。

在商业模式上,张亚勤认为,对商业竞争的参与者来说,大数据意味着激动人心的业务与服务创新机会。零售连锁企业、电商业巨头都已在大数据挖掘与营销创新方面有着很多的成功案例,它们都是商业嗅觉极其敏锐、敢于投资未来的公司,也因此获得了丰厚的回报。

IT产业链分工、主导权也因为大数据产生了巨大影响。以往,移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据,在IT产业链中具有举足轻重的地位。而在大数据时代,移动运营商如果不能挖掘出数据的价值,可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式,已取得一定共识。

(责任编辑:施柏鹏)

时间: 2024-10-24 22:06:34

云计算和大数据是一个硬币的两面的相关文章

熊国祥:云计算和大数据是市场支柱

2013年是全面贯彻落实十八大精神的开局之年,也是坚定不移深化改革开放,为全面建成小康社会奠定坚实基础,实施" 十二五"规划承前启后的关键一年.第六届(2013)全球外包大会于2013年6月14日-16日在素有"小上海"之美誉的中国江苏省无锡市隆重 举行.大会经中华人民共和国商务部批准,由著名国际经济组织亚太总裁协会(APCEO)发起并联合中国商务部国际贸易经济合作研究院.无锡市人民政府共同主办.本次大会主题是"服务外包浪潮下的跨国合作与城市转型"

北京航空航天大学校长怀进鹏:云计算赋予大数据新价值

8月13日消息,北京航空航天大学校长怀进鹏在下午举行的"名人堂--互联网趋势论坛"上表示,云计算下大数据将产生新价值.一个是商业社会价值,另一个是学术价值. 大数据不仅改变我们通讯模式,也影响到我们经济和社会生活发展模式,更重要它可能是未来学术和科学研究发现的一种重要手段. 但是他同时表示,大数据的应用会不可避免地涉及隐私. 怀进鹏提出,网站利用大数据可以将个人的许多相关信息挖掘出来.未来当大数据更多的应用之后,百度可以知道你上网行为,你思考的关注点可能性.淘宝可以了解你的购物习惯,微

微软下一个10亿美元业务会是云计算or大数据产品?

北京时间3月13日消息,据国外媒体报道,微软目前正在确定最有可能成为其下一个10亿美元业务的应用.云计算及大数据产品. 当前,微软拥有十几个独特的产品或服务,这些产品或服务的每年营收均在10亿美元以上,包括Windows.Office.Xbox.SQL服务器.系统中心.统一通信.SharePoint.开发工具.Dynamics (ERP & CRM),以及在线展示及搜索广告等,其中SharePoint在2012年的营收实际上已经超过了20亿美元. 那么,微软的销售团队看到下一个10亿美元业务会是

在移动、社交、云计算和大数据之后,下一个会是什么?

摘要: 我们都知道移动.社交.云计算和大数据等新的商业力量正在颠覆旧有的商业模式,它们就像历史的车轮一样,正所向披靡. 不过,我们现在必须面对的是:在移动.社交.云计算和大 我们都知道移动.社交.云计算和大数据等新的商业力量正在颠覆旧有的商业模式,它们就像历史的车轮一样,正所向披靡. 不过,我们现在必须面对的是:在移动.社交.云计算和大数据之后,下一个会是什么? 调研机构Forrester的分析师 Bryan Hopkins给出了一些答案,其中大多数都建立在移动.社交.云计算和大数据这"四架马车

云计算及大数据产品成微软下一个10亿美元的业务

微软目前正在确定最有可能成为其下一个10亿美元业务的应用.云计算及大数据产品.当前,微软拥有十几个独特的产品或服务,这些产品或服务的每年营收均在10亿美元以上,包括Windows.Office.Xbox.SQL服务器.系统 中心.统一通信.SharePoint.开发工具.Dynamics (ERP & CRM),以及在线展示及搜索广告等,其中 SharePoint在2012年的营收实际上已经超过了20亿美元. 那么,微软的销售团队看到下一个10亿美元业务会是什么呢?微软销售.营销和服务集团(SM

一文读懂物联网、云计算与大数据的关系

ARM是微处理器行业的一家知名企业,设计了大量高性能.廉价.耗能低的RISC处理器.相关技术及软件.技术具有性能高.成本低和能耗省的特点.适用于多种领域,比如嵌入控制.消费/教育类多媒体.DSP和移动式应用等.ARM公司是专门从事基于RISC技术芯片设计开发的公司,作为知识产权供应商,本身不直接从事芯片生产,而是转让设计许可,由合作公司生产各具特色的芯片. 物联网是万物互联,基于互联网为人们提供更便捷.快速服务,物联网首先是基于互联网,把最底层设备的数据采集上来,供人们分析.处理.云服务是由于大

浅谈:物联网、云计算、大数据、人工智能怎么区分与彼此关系?

一.物联网 1.什么是物联网? 物联网在之前被定义为通过射频识别(RFID).红外线感应器.全球定位系统.激光扫描器.气体感应器等信息传感设备按约定的协议把任何物品与互联网连接起来进行信息交换,以实现智能化识别.定位.跟踪.监控和管理的一种网络,简言之物联网就是"物物相连的互联网". 后来被重新定义为当下几乎所有技术与计算机.互联网技术的结合,实现物体与物体之间:环境以及状态信息实时的实时共享以及智能化的收集.传递.处理.执行.广义上说,当下涉及的信息技术的应用,都可以纳入物联网的范畴

阿里云:移动互联网、云计算和大数据三位一体

阿里云业务总经理刘松出席"中国互联网20周年高峰论坛"并发表主题演讲. 在中国互联网20周年高峰论坛上,阿里云业务总经理刘松作了题为<阿里云计算驱动互联网与大数据创新>的主题发言并在随后接受了新华网记者的专访.刘松告诉记者,每一个移动APP背后必然有一个大数据能力的云计算承载,移动互联网.云计算和大数据是三位一体的.阿里巴巴作为国内领先的云服务提供商致力于打造公共.开放的,以数据为中心的云计算服务平台. 云计算已经成为互联网业界最炙手可热的领域之一.国外互联网巨头亚马逊正在

快速理解云计算与大数据之间的关系

如今一家优秀的互联网公司肯定的是拥有数据运营的公司,反之,不能从数据中获取利益的互联网公司的就不是云计算应用者.互联网.云计算以及大数据,如今成了三个密不可分的词汇.更进一步,挖掘数据价值很多企业都会做,但如果不能用最低成本得到数据价值,企业同样活不下去.把数据以低廉成本变成财富的东西就是云计算.从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分.大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构. 那么,云计算是如何帮助大数据将一堆堆杂乱信息转化成经济效益的呢? 首先,