大数据成聚宝盆,互联网企业借力阿里云竞相掘金

阿里巴巴旗下有7大业务,其中像淘宝和天猫每天都会产生大量的交易数据,据统计,在刚刚结束的“双11”这一天的交易额达到191亿元,天猫132亿、淘宝59亿,支付宝处理交易笔数1.058亿笔,峰值时期处理交易笔数9万笔/分钟,核心数据库集群处理了41亿个事务,支付宝核心数据库集群执行了285亿次的查询。在访问量方面,当天有2.13亿独立用户访问天猫,占到互联网用户的四成。虽然,现在淘宝还没有对外公布本次单日产生的数据量,但单从上面的数字信息来看,这个数据量一定是很惊人的。所以,说阿里巴巴坐在金山上。换句话说,阿里巴巴是国内最有价值的商业数据公司,也许大多数人都无法否认。       其实不只是淘宝,随着互联网技术及行业的不断发展,越来越多复杂的互联网平台或应用架构产生,大规模数据的处理需求日益明显,而如何有效挖掘这些大数据也正在成为大家关注的焦点。在这种形式下,云计算应运而生。云计算满足了企业对海量数据的低成本、高效处理,实现了不同类型数据的大量存储与海量计算。如何在“大数据”技术上用云计算构建下一代数据仓库、如何有效分析挖掘数据已经成为热门话题。

阿里云被称作是中国的亚马逊,他是以数据为中心的云计算服务公司,目标是打造互联网数据分享第一平台。本文将向您介绍,阿里云计算如何实现对海量数据的处理与计算、如何最大化的提高计算效率?如何有效挖掘大数据的价值?

张东晖,阿里巴巴集团数据平台总监,他在第二届云计算架构师峰会上提到,让数据变成真正的价值,并带来收益,光有数据是不够的,还需要三大利器:第一,要有好的商业模型,如阿里金融;第二,强大的数据团队,像现在流行的数据科学家;第三,淘金工具,比如阿里云的开放数据处理服务(ODPS)。

阿里巴巴集团数据平台总监张东晖

ODPS(Open Data Processing Service) 是基于阿里云计算平台构建的数据存储与分析的平台。ODPS提供大规模数据存储与数据分析,用户可以使用ODPS平台上提供的数据模型工具与服务,同时也支持用户自己发布数据分析工具。适用于金融、零售、制造业和电商企业的BI团队进行海量数据分析和挖掘。ODPS目前暂时只提供大规模数据存储与离线数据分析服务。

ODPS的三大技术特点:

1.安全性:当提到多租户、多使用概念时,用户立刻会想到安全问题,如果数据平台不能分享,解决安全问题会相对简单,但将数据分享,并可跨越边界被访问时,就对安全提出了很大的挑战。ODPS在这方面采用的是授权方式,对访问数据库的用户严格授权,任何人的程序都无法看到或破坏里面的数据。另外,ODPS为了实现多租户的独立,做了三层的安全认证体系,以保证用户对于安全的需要。

2.编程模型:对于一个框架来讲,应该支持可以扩展多种编程模型。ODPS支持多种编程模型,因为离线都是处理流程,一个处理流程可以用不同的编程模型编写。

3.存储模型:数据量越大,对于存储的要求就越高,存储的难度也会加大。ODPS在存储的时候是将物理存储和数据存储分开,这样可以有效解决数据的兼容性问题。从存储模型层面减少IO,数据采用统一的展现形式——表。对小文件提供OTS存储,另外,将元数据保存在OTS中,对高并发和规模扩展提供了很好的方式。除此之外,在存储模型上,还有带压缩的列存储,可以有效减少IO,提高效率。

ODPS 有效的满足了用户对于数据的存储和离线处理的需求。如何更进一步的让这些数据产生价值呢?

时间: 2024-10-25 15:11:29

大数据成聚宝盆,互联网企业借力阿里云竞相掘金的相关文章

大数据改变中国交通浙江用阿里云看未来

文章讲的是大数据改变中国交通浙江用阿里云看未来,12月2日,浙江省交通运输厅公布了一项新的试点项目:将高速历史数据.实时数据与路网状况结合,基于阿里云大数据平台,预测未来一小时内的路况. 结果显示,实时路况监测成本下降了90%,未来路况预测准确率在91%以上.这超过了微软同巴西一所大学的实验室成绩(80%),是目前全球已公开的最优结果.阿里云大数据计算服务(ODPS)为该项目提供了分析支持,并有多位数据科学家参与了联合研发. 大数据正在中国的交通领域展示出无限可能.无论是前一波的"智慧城市&qu

速途网范锋:大数据将提高互联网企业创新力

硅谷网讯 8月14日消息,随着大数据的发展,2013中国互联网大会首次设立2013中国大数据发展论坛.速途网创始人兼CEO范锋受邀作为此次论坛的主持人,他 认为,在大数据的驱动下,http://www.aliyun.com/zixun/aggregation/13333.html">中国互联网企业的智能创新能力将得到有效的提高. 图:速途网创始人兼CEO范锋(速途网独家拍摄) 范锋说:"今天的大数据就像2000年的互联网.2006年的搜索引擎一样,是投资.创业的热点,我们相信它将

大数据成健康中国新机遇 阿里云”铺路”医疗技术革新

扎克伯格在给女儿的信中,20次提到"健康"."医疗"等关键词,并坚信"随着科技的发展,我们有望在未来的100年间预防.治疗和处理所有或大部分剩下的疾病."马云也表示,"我们今天如何在医药上面做工作?大数据的目的是让用药更精准,让医院变得更高效." 这并非是企业家高谈阔论,这样的愿景正在逐步实现.在"互联网+"的大趋势下,中国互联网医疗发展迅速.借助云计算低成本和弹性扩展的优势,以及计算的力量,医疗行业正在为

云计算和大数据撑起3 万亿阿里

"正因我不懂技术,所以阿里的技术才是最好的.他们的领导知道这个搞不下去,而我是不知道这个搞不下去,只是说了句这个东西一定得搞下去,所以做出了'双十一'这种需要云计算支持的服务." --马云 3月21日下午2时58分37秒,阿里巴巴中国零售平台交易额(GMV)突破三万亿元,有望在2016财年内超越传统零售企业沃尔玛.三万亿的背后,离不开技术力量的支持.据了解,阿里巴巴正在造一台"全球通用的超级计算机",这台计算机已经服务了60多个国家的180万家企业. 不懂技术 马云

大数据风控,互联网有盾可依

文章讲的是大数据风控,互联网有盾可依,近日由上海浦东金融促进会和士研传媒主办的"2015中国未来金融周" 活动在上海落下帷幕.作为中国最具有权威性与影响力的大型互联网金融产业活动,本届金融周由征信论坛与移动金融论坛两个板块组成,分别围绕"发掘移动金融2.0的时代机遇"和"规范监管,开拓模式,创新技术,提升管理"两大主题进行行业内的深度探讨.此次会议得到了上海金融法制研究会.上海浦东新区金融促进会.上海移动支付产业技术创新战略联盟.上海交通大学中国

大数据时代家庭互联网的商业价值在哪里?

如果没有渠道下沉,大数据只能是绽放在互联网时代的一束绚烂花火,家庭互联网只会沦为商业价值创造语境中的空中楼阁. 用反推的方式,来看待长虹.海尔.美的.TCL等传统家电企业及百度.阿里.腾讯.小米等互联网企业纷纷如火如荼布局智能家电市场,是否会让我们更清醒理解各位大佬热衷商业转型的价值所在? 据Alteryx分析,2014年大数据将首次正式结合市场营销,用于市场营销的大数据技术将扮演重要角色:影响着广告.产品推销和消费者行为.换句话说,企业将充分利用客户与其在线产品或服务交互产生数据,利用所谓的杠

如何让“大数据”更好为企业运营服务?

天再一次塌下来了.这一次是"大数据"让IT部门如临大敌.正如街谈巷议的传闻一样,不管你走到哪里,关于"大数据"的讨论无处不在.在Google搜索这个词组,搜索结果超过13亿条.它甚至在维基百科拥有专门的条目.数据泛滥导致很多人得出结论:企业将不堪重负.这并不是说企业内部的信息量不会增长.相反地,企业内部信息量也难逃增长的命运.因为,大数据一直是个难题. 尽管不断有人声称,数据洪流将导致厄运来临,但IT行业却始终能够通过改进计算基础架构,使它们速度更快.容量更大.价格

贵阳举办“大数据时代的互联网金融”论坛

ZDNet至顶网软件频道消息(图文:姜玮玮):今日,主题为"大数据时代的互联网金融"(Internet Finance in the Big Data Era)的论坛在贵阳中天会展中心举行.作为生态文明贵阳国际论坛中最大的亮点之一,论坛围绕如何将"大数据"与"互联网金融"合为一体,创造新价值,并促进互联网金融产业健康发展进行研讨. 出席本次论坛的嘉宾有40余位,参会人数400余人,涵盖了金融机构.专家学者.行业企业等众多领域,包括中国建设银行.中

大数据文化:传统企业互联网下的组织颠覆

书名:<组织设计> 作者:李书玲 出版社:机械工业出版社 <组织设计>的互联网改造启示 在世界的发展历程中,有两类企业被奉为圭皋,一类是以通用电气为代表的传统企业,他们管理严谨,逻辑严密,员工西装革履,遵守着严格的上下班制度,被誉为世界跨国企业的典范:另一类以谷歌为代表的互联网企业,他们行事不拘一格,办公活泼灵活,员工穿着自由开放,创造力十足,被称作互联网时代的代言人.但是,随着互联网时代的到来,大量以通用为标杆的企业逐渐陷入了迷思,到底什么才是真正的企业文化,组织设计又该何去何从