云计算中的“大数据”

数据中心正在成为新时代的“信息电厂”,成为知识经济的基础设施。过去一年,“大数据”正在成为一个热门话题。半个世纪信息技术的发展,主要解决的是云计算中“结构性”数据的存储、处理与应用。“结构性”数据的特征有如你到银行去存取款,银行的计算机系统记录着你的名字,在名字之后是你存取款的数量、时间、类型等信息。这些数据的特征是“逻辑性强”,每个“因”都有“果”。

然而现实社会中大量数据事实上没有“显现性”的因果关系,如一个时刻的交通堵塞、天气状态、人的状态(心理与物理)等,它的特征是随时、海量与弹性,如一个突变天气分析包含会有几百个PB(Petabyte, 1Petabyte=1024TB)数据。而一个社会事件如乔布斯去世瞬间所产生在互联网上的数据(微博、纪念、文章、视频等)也是突然暴发出来。

传统的计算机设计与软件都是以解决“结构性”数据为主。对这一类新型的“非结构”要求一种新的计算架构。互联网时代,尤其是社交网络、电子商务与移动通讯把人类社会带入一个以“PB”为单位的结构与非结构数据信息的新时代,它就是“大数据(Big Data)”时代。

大数据的企业与技术

一个大规模生产、分享、应用数据的时代正在开启,我们每个人都成为了数据的创造者和使用者,微博、社交网络都是最好的例子。

工业革命以后,书籍等以文字为载体的知识大约每十年可以翻一番;1970年以后,知识大约每三年就可以翻一番;如今,全球信息总量每两年就可以翻一番;2010年互联网的数据量,比之前所有年份的总和还要多。现在,人类每天可以产生数以PB的数据,从日志、微博、分享照片、传送视频,多种格式的数据实时、不断地更新。在医疗卫生、地理信息、电子商务、影视娱乐等行业,每天也都在创造着大量的数据。

数据正在成为从工业经济向知识经济转变的重要特征,成为新时代最关键的生产要素和产品形态。

代表着大数据时代的如Apple、Facebook、Amazon等公司正成为这场变革的推动力量。同时新企业也层出不穷,比如2007年才成立的Dropbox公司,创始人不到27岁,估值已经超过40亿美元,这是一家提供文件备份及共享服务的公司,允许用户在不同平台和设备之间同步并共享文件,Dropbox用户数量超过2500万,每天存储的文件数量2亿多个,苹果公司曾出价8亿美元想收购它未成功。

值得一提的是,这家公司最早使用的也是Amazon的S3云计算平台,得以低成本迅速起步。Amazon云计算数据存储服务,原来只是为了利用闲置服务器资源,现在一年可以带来近10亿美元收入,并且供不应求。今年初,Amazon S3云存储服务存储文件是2620亿份,这个数字最近变成了5660亿份,翻了1倍还多。目前Amazon称自己的S3数据存储服务,担心的已经不是数据的存储成本,而是更加重要的数据处理的问题。

云计算中的大数据有几个核心要素,如数据在云端的集合与分享、个人数据的无缝连接(随时、随地、同步)以及数据的跟踪分析和挖掘。

源自雅虎的Hadoop这样大数据系统越来越重要,作为开源的分布式数据处理系统架构,Hadoop主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop提供的MapReduce能将大数据问题分解成多个子问题,将它们分配到成百上千个处理节点之上,再将结果汇集到一个小数据集当中,从而更容易分析得出最后的结果。

Hadoop已经成为AOL、Facebook、Twitter和Netflix这些公司大数据分析的主要解决方案。比如像Facebook一天的数据要比很多大公司一年的数据还要多,他们通过Hadoop收集和存储每天生成的数百万的文件,使用开源Apache Hive数据仓库工具集中对这些数据进行分析。

Opera Solutions这样的创新公司提供的服务更加引人注目:客户将数据上传到Opera平台,Opera就会根据用户数据池里的相关“信号”进行分析,根据每个客户的个性化需求,Opera雇佣各行业的专家来帮助他们进行数据分析,Opera Solutions的年营业额已经超过1亿美元。

新的创业公司像MapR、Zettaset、Cloudera、HStreaming这些和Hadoop相关的大数据公司,在资本市场倍受青睐。它的快速成长将会成为下一个改变信息技术的力量。

 大数据的经济意义

大数据为云计算大规模与分布式的计算能力提供了应用的空间,解决了传统计算机无法解决的问题。同时这个领域的计算标准与软件均刚刚起步,为全世界新型软、硬件及应用创新提供了前所未有的机会。

海量的数据需要足够存储来容纳它,快速、低廉价格、绿色的数据中心部署成为关键。最近一年多来,谷歌、Facebook、Rackspace等公司都在纷纷建设新一代的数据中心,大部分都采用更高效、节能、定制化的云服务器,用于大数据存储、挖掘和云计算业务。

数据中心正在成为新时代的“信息电厂”,成为知识经济的基础设施。从海量数据中提取有价值的信息,数据分析使数据变得更有意义,并将影响政府、金融、零售、娱乐、媒体等各个领域,带来革命性的变化。以投资Facebook而著名的风险投资机构Accel Partners 表示:“大数据是信息技术未来发展的战略走向,将催生下一代价值数万亿美元的软件企业。”

大数据将丰富我们对世界的认识。从定量、结构的世界,到不确定、非结构的世界。这个转变,使我们得以了解真实信息,提高决策水平,当社会对自然的数据有较为完善、随时的分析能力时,我们对事件的把握及预测能力便增强。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具,通过对大数据分析、预测会使得决策更为精准,这对现阶段的中国尤其重要。

中国有着庞大的人群和
应用市场,复杂性高、充满变化,如此庞大的用户群体,使中国成为世界上最大数据的国家。解决这种由大规模数据引起的问题,探索以大数据为基础的解决方案,是中国产业升级,效率提高的重要手段。

“数据银行”与“云存储”

“数据银行”概念逐渐变为应用的试点。将有公司把我们产生的数据如金钱资产一样,放在“数据银行”中储存起来。

企业计算在大数据环境中可以将已有数据和文档向云计算环境迁移,加快云环境下的数据管理、数据挖掘等软件应用,进行商业模式探索和数字化决策。政府可以通过海量数据的存储、分享,进行分析和应用,通过数据共享和业务协同,提升办公智能和决策效率,解决城市交通、人口管理、公共安全、医疗卫生等诸多难题。

数据不仅代表着生产力,还将成为重要的资产,或许在将来,我们留给下一代的资产,不是银行里有多少存款,而是信息资产;也许10年、15年之后,会有国家的数据银行,相对今天的财富资产,里面保存的是我们的信息资产。

大数据的各种基础及应用软件、硬件产品会逐步推出,而这方面中国创业型企业与硅谷距离也在缩短。今年底我们投资的北京超云计算机公司,将在北京亦庄与硅谷一家企业同时推出世界首台解决大数据问题的“Hadoop”服务器。

“云存储”将会由于苹果的“iCloud”而逐渐流行起来。传统的家电企业提供“云家电”将成为应用热点。大规模、海量的“云数据”中心建设会成为全球与中国下轮基础设施投资重点。

无论云计算还是大数据技术与应用,今天还是早期发展阶段,相当于上世纪80年代初的个人计算机。我们已看到它广阔的应用前景及改变世界经济的力量。但是我们仍无法准确地预知什么样的商业模式与什么样的企业、企业家会取得最终的成功。探索、学习与试错是进入这个新世界之门的唯一钥匙。

时间: 2024-09-30 23:53:20

云计算中的“大数据”的相关文章

评谈新经济:新经济动能转换中的“大数据要素”

[导语]2016年的两会,总理所做的政府工作报告中有许多新提法.新思路引起了人们的关注.其中,有关新经济被描述为"随着以云计算.大数据.物联网等为代表的新技术被广泛接收和应用,诞生的新产业.新消费.新组织形态,以及随之而来的创业创新浪潮.产业转型升级.就业结构改善.经济提质增效." 新经济实现的五大重点:DT形态的信息基础设施.三合一的分享型经济参与模式.开放多元的协同治理.C2B与智能制造结合的供给侧革命.互联网+之下的新型服务市场进步. 大数据是以云网端为基础核心设施.平台分享为核

法国大数据:智慧城市中的大数据

1.推进力量 2013年2月,法国政府发布<数字化路线图>,列出5项将会大力支持的战略性高新技术,其中一项就是大数据.法国政府将以新兴企业.软件制造商.工程师.信息系统设计师等为目标,开展一系列的投资计划,旨在通过发展创新性解决方案,并将其用于实践,来促进法国在大数据领域的发展. 2013年4月,法国经济.财政和工业部宣布,将投入1150万欧元用于支持7个未来投资项目,法国生产振兴部长Arnaud Montebourg.数字经济部副部长Fleur Pellerin和投资委员Louis Gall

云计算ACP和大数据ACP考试一点心得

最近一口气通过了阿里云的云计算认证和大数据计算认证,有点小小的心得在此分享,希望对即将要考试的同学有帮助.个人认为如果从事这个领域的工作,这两个认证还是值得去考的,主要是对云计算.大数据有了体系化的了解,对阿里的产品也有一个深入的认识.从难度而言,大数据比云计算的难些,虽然大数据考试大纲的内容不是很多,只有DATAIDE和MAXCompute,但是里面需要理解和实际动手的地方不比云计算的少.云计算的考试这里就不多说了,主要是把每个产品的概念.应用场景,优势.操作.问题都搞清楚,配合云沙箱的实验,

云谷大世界对话:探讨云计算,碰撞大数据

北京·亦庄·云世界大会2013于12月12日在亦庄创意生活广场举行.本届云世界大会以"Cloud Now @ CHINA "为主题,围绕"趋势发展的世界云"和"自主创新的中国云"两大主线.延续北京硅谷对话"双城记"传统,来自硅谷的云计算顶级专家,云计算领域顶级的公司与中国互联网及云计算领域的领导企业.风云人物,通过技术.创新.投资.趋势等方面的碰撞,解读云计算本质.趋势.创新创业机会.同时,与会者也将零距离接触到中国云计算这几

如何让云计算与企业大数据强强联手?

本文讲的是如何让云计算与企业大数据强强联手,大数据是高性能计算领域最热门的趋势.大数据往往是非结构化的大规模数据,这些庞大的数据集中蕴含着对企业极具价值的情报信息.而云计算在过去几年一直是IT世界的宠儿,因为云计算开创了计算作为服务的新时代,尽管人们对于云计算的安全.可用性和成本仍然存在疑虑. 大数据的规模似乎能够成为云计算有趣的合作伙伴.大规模数据的管理存在很高的复杂性,正因为如此,大数据分析通常在本地服务器集群中进行.而云计算的优势在于尽可能有效地优化现有资源.如果部署得当,你没有理由不结合

第二届云计算大会暨大数据高峰论坛举办

本文讲的是第二届云计算大会暨大数据高峰论坛举办,2012年9月20日,北京.由IT商业新闻网.全国CIO/CTO俱乐部主办,<IT时代周刊>协办的"智在应用--第二届云计算大会暨大数据高峰论坛 "在新世纪日航饭店隆重举办. 本届论坛嘉宾云集,听众踊跃,云计算.大数据主题深入人心.来自官.产.学.研.媒.企业用户等不同领域近300位业界人士从四面八方涌入会场.工业和信息化部电子信息司巡视员胡燕.中国工程院院士倪光南.卫生部信息化工作领导小组办公室副主任高燕婕.国家电力监察委员

2014中韩大数据论坛发现大数据的价值

ZDNET至顶网CIO与应用频道 06月06日 北京消息:2014年5月30日上午,由中国软件行业协会主办,北京软件和信息服务交易所(简称"软交所").中关村大数据产业联盟.韩国大数据学会.韩国经营信息学会联合承办的"2014第十八届中国国际软件博览会中韩大数据论坛"在北京展览馆正式召开. 2014中韩大数据论坛"发现大数据的价值"主论坛现场嘉宾 中国软件行业协会秘书长谢渡婴,韩国大数据学会会长吴在仁,软交所副总裁刘东华.中关村大数据产业联盟秘书

数说云计算大会 寻找大数据背后的商机

本文讲的是数说云计算大会 寻找大数据背后的商机,上周,云计算大会在高温中落下帷幕.本次大会正值盛夏,但会场三天依旧人头窜动,高温酷暑也阻挡不住大家对云计算的热情.今天为您盘点一下本届云计算大会上的各种数据,看看能否从这些数据背后找到新的商机. 1.1天=19天 中国大数据专家委员会主任委员,中国科学院院士 怀进鹏: 一个PB的数据,光用现在最快硬盘读取速度1.9天,一个GB的数据需要五年左右完成,百度一天网页超过10个PB,百度用最快硬盘把数据读完就需要19天,一天数据需要19天读完,显然在数据

生活中的大数据

IDC中国在10月份刚刚发布了<中国大数据技术与服务市场2012-2016年预测与分析>报告,其中的数据显示,中国大数据技术和服务市场未来5年的复合增长率将达51.4%.报告中指出,淘宝.腾讯,以及百度等互联网巨头是率先使用大数据技术的用户,同时电信和银行领域也开始对大数据技术和服务产生浓厚的兴趣. Gartner也预测,到2015年,大数据将为全球带来440万个IT岗位,其中96万个IT岗位会在亚太地区.每个大数据相关的岗位将催生三个非IT的就业机会,从而使亚太地区的就业机会总计达到40万个