不要犹豫 了解这些即可玩转阿里云ODPS

文章讲的是不要犹豫 了解这些即可玩转阿里云ODPS,从7月8日,阿里云ODPS正式开放商用至今已有一周有余,网上关于ODPS商用的话题热度非常之高,除了好事儿的不怕热闹的过来瞧瞧之外,对于那些真正憋了多年,决心将大数据事业进行到底的企业用户,他们“圣战”的时刻终于到了。

  关于ODPS平台的诸多优势,以及对产业的影响,已经有太多篇幅的报道了,本文不想过多的做重复报道,重点是从用户角度出发,发掘他们对ODPS的需求,进而帮助用户更好的应用ODPS。

  通过对这些用户调查了解到,他们更关心ODPS是否安全、咋用、好不好用、需要作何准备、价格是否公道等等。也看出了这些用户的可爱之处,同时也看到他们对ODPS的期望(或许是市面上这些所谓的大数据平台对他们来说不怎么靠谱)。


▲阿里云ODPS商用大数据平台

  开门见山ODPS是什么?能干什么?

  要想了解ODPS,不妨先看一下阿里云的整体架构:最底层是Linux+PC Server,上层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,主要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该系统在生产环境支持调度5000台机器的集群。

  ODPS是在飞天之上提供的一套服务,功能包括SQL,基于java的Mapreduce编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的功能是以RESTful API的形式对外提供,所以从系统边界上说,这层API隔离了ODPS平台和用户的系统,和hadoop的区别也很明显。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具有最高的优先级。

  简单来说,ODPS(Open Data Processing Service)是一项Web服务,大家不用花大钱建数据中心,就能分析海量数据。看到这个介绍,大概就知道ODPS是干嘛的了。也可以和自建数据中心做个区分。

  按照阿里云测试,100PB的数据任务可在六个小时内跑完,这个数据量相当于1亿部高清电影,够厉害了吧。

  使用ODPS安全性靠谱吗?

  有这个疑问的用户,说明对云计算本身还有一些顾虑,也说明企业对云计算有尝试的需求。的确,数据是企业的核心资产,这个已经被广泛认识到了,以至于企业采用非常多的手段对数据进行保护。企业应该认识到,自己的数据保存到服务器中,肯定会面临机房安全、黑客攻击、内部流程和人员安全等多项挑战,做到这些防护就能100%的安全了吗?这里要打个问号。

  安全问题是老生常谈,但是不谈就打消不了用户的疑虑,这里就做个说明。可以说,现在对云计算安全的顾虑,就跟当年对公共电网的顾虑一样。现在谁不用公共电网?银行刚刚诞生之初,老百姓觉得把钱放到自己身边最安全,现在不都放到银行了?道理很简单,安全性是一个理念,需要大家慢慢适应,但是走向云端是必然的道路。

  结合阿里云ODPS,从具体的安全措施来讲,ODPS是国内首家通过了CSA-STAR和ISO27001两项国际云安全认证的公司,在各个环节都采纳了国际上最先进的数据安全管理标准。在技术上,ODPS采用了多项技术保证用户存储在阿里云的数据不丢失、不泄露、不越权访问;从管理上,阿里云内部对于ODPS的运维和运营人员的操作有严格的监控和审计,确保内部人员不会接触到用户的数据。

  ODPS通过API提供服务,包括数据上传、下载、计算,所有API请求都是经过认证的,所有API请求都可以走https加密。从平台设计和技术实现角度说,ODPS充分考虑了数据安全性,ODPS团队对于平台的优先级定义是数据安全性大于可用性大于规模的。

  空口无凭,举例为证。阿里巴巴作为ODPS最大的用户,已经率先做了安全性实践。1)阿里的业务数据都将运行在ODPS上,外部用户与阿里集团享受相同的高安全等级。2)除了企业用户外,目前也在帮助政府客户合作上云。这些大企业和政府客户,比如一些银行、飞利浦、美的、中国气象局等,对数据安全的考虑非常严格,他们最后决定上云,也是对阿里云的数据安全性经过了全方位的评估。

  用ODPS应该做哪些准备工作呢?

  认清ODPS的产品价值以后,你是否已经鼓足勇气决定借力ODPS大干一场?别慌,你先做一些准备工作。

  一方面,使用ODPS也有一定的技术门槛。比如至少要懂得处理数据的基础技能,比如SQL语言。或者是一个程序员,懂得通过编写Java程序或者编写脚本。

  另外,还要具备数据敏感度以及对业务的理解。目前参加天池大赛的学生,他们通过对数据有更好的理解,进行设计更好的算法,取得更好的处理结果。

  ODPS如何收费?针对中小企业方面有没有优惠政策?

  成本是企业发展中最重要的因素,作为用户会问,使用ODPS的解决方案,我的成本会降低多少?阿里云的回答是,比传统方式成本至少节约一半。ODPS是按使用后付费的产品,用户的数据存储和计算一定有波峰波谷,企业不必为了应对峰值而采购额外的机器,而仅仅需要为了使用的资源而买单。更为关键的是服务的方式,极大地降低了技术门槛。企业不用为了Hadoop人才难觅而发愁。大企业财大气粗,不差钱,只要能确保解决问题一切都OK。但是中小企业没这么阔气,精打细算还是必须滴。

  针对中小企业ODPS有木有优惠政策?答案是肯定的。阿里巴巴就是通过不断的扶持中小企业,甚至是小微企业才得以建立了庞大的商业帝国,这些小企业是阿里的根基,当然不会置之不理。

  阿里云ODPS产品经理汤子楠说,希望通过ODPS让更多的中小企业感受和利用大数据的价值,除了产品本身外,后续还会推出一系列的服务,比如帮助用户设计数据模型,引导用户更合理更低成本的使用ODPS,比如对用户进行ODPS和大数据方面的培训,比如提供基于ODPS的可视化BI分析工具等等。这些服务在初期会以免费或低价的方式提供给用户,最大化的降低用户使用大数据的成本和门槛。有了阿里官方的说法,中小企业主大可放心了吧。

  目前ODPS有哪些成功案例值得借鉴?

  生于阿里,阿里云自然将阿里业务作为服务对象,甚至阿里巴巴的诸多业务都已经成为了ODPS的客户。

  ODPS之前一直在阿里内部试用。第一个"小白鼠"是阿里小贷。现在,超过36万人从阿里小贷借款,最小贷款额1块钱,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。另外,阿里小贷每笔贷款成本3毛钱。

  华大基因,2003年国内抗SARS研究的主力军。去年,华大在ODPS上试了下基因测序,耗时不到传统方式的十分之一。

  公共领域的数据挖掘,如今,每盒药品上都有一张电子身份证,从生产、流通、储存、配送、销售到使用,全过程的数据都跑在ODPS上,一旦发现问题药品,监管部门可以立即采取措施。

  眼下,阿里巴巴各项数据业务都在用ODPS,比如淘宝在算你最中意哪个淘女郎,天猫在算你什么时候想吃车厘子,菜鸟在算卡车走哪条路可能会被雷劈,支付宝在算你何时会从屌丝变成高富帅。

  ODPS强大的生态圈计划 企业如何参与并获利?

  ODPS是一个强大的数据计算引擎,结果的输出需要各种计算模型的支撑,计算模型一方面ODPS平台会提供,但是也需要打造生态圈,借助生态圈的力量不断的完善ODPS。

  ODPS作为开放的商用平台,也欢迎更多的生态圈伙伴参与进来,这些伙伴包括四个方面:1、服务和应用供应商,提供商业智能和数据应用。2、数据的生产,可以是企业也可以是个人。3、数据的加工,他们可以是咨询公司、行业专家。4、数据消费,包括广告、客户满意度改进、模式创新、精准推荐等。

  ODPS产品经理汤子楠提到一点,参与到生态圈中,大家共同获益,既可以为生态圈提供资源,也可以从中获益。

  最后,借用阿里云事业部总裁王文彬的话:“阿里云ODPS是一个系统工程,工程不可能是完美的,ODPS还在不断的发展中,希望大家多一些耐心。”作为用户,可以说目前ODPS已经开创了在线处理大数据商用的先河,值得道贺,也值得期待。用户在使用过程中有更多的疑问欢迎提出(微信 搜索景保玉,关注公共账号 小新有话说,微博 @景保玉)这也是为ODPS的完善做出一份贡献。

作者:景保玉

来源:IT168

原文链接:不要犹豫 了解这些即可玩转阿里云ODPS

时间: 2024-10-29 01:16:21

不要犹豫 了解这些即可玩转阿里云ODPS的相关文章

阿里云ODPS帮您轻松实现大数据

互联网行业在大数据的积累和应用以百度.腾讯和阿里巴巴最为值得关注.百度.腾讯和阿里巴巴在大数据的应用上虽然有共同的地方,但由于各自的数据来源和商业模式的不同,其大数据应用也有不同的特色.从数据类型看,阿里最为突出的是电商数据,尤其是用户在淘宝和天猫上的商品浏览.搜索.点击.收藏和购买等数据,其数据最大特点是从浏览到支付形成的用户漏斗式转化数据. 双十一已经成为全球最大单日购物狂欢节,今年的双十一阿里云聚石塔处理了今年96%的双11订单,无一故障.无一漏单.天猫.淘宝.支付宝的大数据处理,都基于阿

阿里云ODPS正式开放商用

摘要: 近一段时间最热门的话题莫过于世界杯了,在科技领域和世界杯相关的最热门话题,则莫过于Google利用大数据成功预测了本届世界杯的16强. 具体的预测方式是,Google使用了来自Opta S 近一段时间最热门的话题莫过于世界杯了,在科技领域和世界杯相关的最热门话题,则莫过于Google利用大数据成功预测了本届世界杯的16强. 具体的预测方式是,Google使用了来自Opta Sports的数据,评估了每个职业足球联盟过去多个赛季的情况,以及世界杯小组赛期间的统计数据,根据对球员此前比赛中表

产品经理教你玩转阿里云负载均衡SLB系列(一):快速入门--什么是负载均衡

负载均衡是一种技术,从字面意义上理解,就是让负载(变得)均衡,负载是什么呢?可以理解为工作量.工作强度.用日常生活中的例子来打比方,一群建筑工人,盖一幢楼房,有搬砖的,有和水泥的,有砌墙的,有刷油漆的,同时每个工人的劳动能力还各有差别,如果让这些工作自组织的干起活来,可能有的人忙到累死,而有的人闲的无聊 ,因此不论大小工地上,都会存在监工.项目经理.包工头等这样的角色,他们会统观全局,识别每个工人的工作强度,合理分配任务,保证建筑活动的正常开展,很大程度上起到了的负载均衡的作用, 这就是负载均衡

玩转阿里云上Kubernetes 1.7.2 高可用部署

随着Kubernetes社区的不断壮大,其版本不断更迭,新功能及BugFIX也不断更新,促使其部署方式也不断的变化,本文将带您在阿里云上快速的部署一个高可用的Kubernetes集群.并且添加阿里云CloudProvider支持,让您可以方便的自由的使用阿里云上的SLB,NAS,阿里云盘,VPC网络等云资源. 部署结构图 如上图,脚本通过执行SSH命令的方式部署一个M + N节点的Kubernetes集群,M=Number(Master) N=Number(Worker). 支持VPC网络,确保

拥抱API经济:教你三步使用SDK玩转阿里云API

众所周知,阿里云提供了全方位.多层次的云计算产品体系.阿里巴巴技术委员会主席王坚博士说过,要让云计算像水电一样方便获得.为了开发者无缝衔接阿里云的众多服务,将它们集成到自己的应用系统,阿里云开放了API和用来访问API的工具SDK. 什么是阿里云SDK? 阿里云Java SDK让您不用复杂编程即可访问云服务器.CDN(内容分发网络).OSS(对象存储)等丰富又强大的云计算基础设施.它是面向开发者的编程库,能够直接应用在开发者的应用程序里,被应用逻辑调用.打个简单的比方,应用程序是家用电器,阿里云

一个小时玩转阿里云 | 免费的自助实验平台上线了

      告诉同学们一个好消息,阿里云的自助实验正式上线了 阿里云的自助实验课为同学们提供了一个真实的阿里云操作环境,你可以通过自助实验课中提供的各种小型实验, 快速掌握包括ECS.RDS等云产品的使用与操作.最重要的是这不是一个视频教学或帮助手册,而是完全实战的. 可以直接操作真实阿里云产品的实验平台.自助实验现在免费体验,活动截止时间3月底,想免费学要快哦!   看看一个励志于学习阿里云的女同学在使用自助实验后的变化吧~ 同学们可以按照以下步骤快速开启学习模式,也可以直接登陆 www.al

阿里云ODPS的愿景、技术实现与难点

2014年1月,阿里云将其ODPS服务开放公测.2014年4月,阿里巴巴大数据竞赛的所有参赛者将在ODPS平台上进行算法的调试.测试:同月,ODPS也将开放更高级的功能进入公测. InfoQ中文站近日跟ODPS平台的技术负责人徐常亮进行了采访,交流了有关ODPS的愿景.技术实现.实现难点等话题. InfoQ:先介绍一下ODPS现在的情况吧.这个产品能做什么? 徐常亮:ODPS是2011年正式有的名称,全称叫做Open Data Processing Service,简单来说就是数据处理的服务.它

命令行下玩转阿里云OSS

1.第一步 下载并配置好osscmd config --host=[oss.aliyuncs.com] --id=[accessid] --key=[accesskey] 2.批量上传文件 上传文件夹 find $dirname | sed 's/\.\///g' | xargs -I {} osscmd put {} oss://$bucket-name/{} 如果是上传当前目录将\$dirname 替换成"." \$dirname 要上传文件名称, 当然要在这个目录上层运行此命令,

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

免费开通大数据服务:https://www.aliyun.com/product/odps  想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办? 大数据计算服务(MaxCompute) 快速.完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全. 了解更多   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅-Let'