阿里云发布ODPS 可分析PB级海量数据

 本文讲的是阿里云发布ODPS 可分析PB级海量数据8日,阿里云计算发布核武级大数据产品——ODPS。通过ODPS在线服务,小型公司花几百元即可分析海量数据。ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。此前,全球掌握这种能力的公司屈指可数,如Google、亚马逊等。

  五年间,阿里云的工程师们写下250万行代码,不断打磨ODPS。该团队在一封公开信中描述:“把数据海洋里的水灌进ODPS,设定好一套参数,拧开水龙头,出来的就是鲜榨果汁!”对比工业时代,ODPS相当于大数据时代的流水生产线,水龙头里流出来的“果汁”,随原始数据和算法的改变而千变万化。

  公开信中表示:工业革命后的200多年里,人类对物理资源的利用登峰造极,对数据资源的利用却仍处于起步阶段。Google、Facebook、阿里巴巴等互联网公司先行一步,触碰到了大数据的魅力。然而,人类拥有的绝大部分数据还无法产生价值。

  采用传统方案处理大规模数据,一般得耗资数千万自建数据中心,请专业技术人员维护运作。一旦数据总量超过100TB,技术挑战会非常大。Hadoop开源运动降低了这一成本,不过自建一个像样的Hadoop集群,仍然需要上百万的起步资金。专业的Hadoop人才则更加稀缺。

  相比而言,使用ODPS的成本和门槛则低得多。ODPS采取按量收费的模式,目前定价0.3元/GB,即开即用,一个月内免费。根据大部分公司的数据量来测算,一般每月只需花费数百元。

  在对外商用之前,ODPS一直是阿里巴巴内部的秘密武器。阿里小贷最先将ODPS应用到商业领域。如今,超过36万人从阿里小贷借款,最小贷款额为1元,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。阿里小贷每笔贷款成本3毛钱,不到普通银行的1/1000。

  据悉,淘宝、支付宝等阿里巴巴最核心的数据业务,都运行在ODPS平台。比如阿里妈妈广告的核心算法,点击预测模型的训练等。ODPS商用,意味着阿里云将这种大数据处理能力对外开放,此举将大幅降低社会创新成本。

  在公共领域,ODPS也具备广泛应用的潜力:华大基因利用ODPS进行基因测序,耗时不到传统方式的十分之一,未来一旦爆发生物危机,可以为人类赢得宝贵的破译时间;药监部门利用ODPS,全程监管药品流向,解决假药问题。“我们期待未来每一桶油、每一道菜的数据都跑在ODPS上,食品安全问题需要通过创新的方式来解决。”

  目前,全球提供类似服务的仅有Google和亚马逊,国内尚无同类产品可供比较。阿里云方面表示,ODPS将比Google BigQuery更强大,不仅支持更丰富的SQL语法,还将提供MapReduce编程模型和机器学习建模能力,可以服务更多应用场景。

原文发布时间为:2014-07-08

本文作者: 景保玉

原文标题:阿里云发布ODPS 可分析PB级海量数据

时间: 2024-09-20 19:39:03

阿里云发布ODPS 可分析PB级海量数据的相关文章

如何用阿里云HiTSDB时序数据库实现百万级海量数据点秒级读写

2017云栖大会·上海峰会上,阿里云发布了面向物联网场景的HiTSDB时序数据库,可支持每秒1000万时序数据点写入:具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%:提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力. HiTSDB的能力脱胎于阿里巴巴多年的实践,面对集群规模拥有独特的分析计算能力,本文将从电商视角对HiTSDB进行深度剖析. 阿里巴巴拥有着全球最大的电商交易平台,2016双十一单日成交额突破了1207亿.而这个庞大的业务规模的背后是

阿里云发布大数据产品ODPS 6小时处理100PB数据

中介交易 SEO诊断 淘宝客 云主机 技术大厅 阿里云发布ODPS 可分析PB级海量数据 新浪科技讯 7月8日下午消息,阿里云计算发布大数据产品--ODPS.通过ODPS在线服务,小型公司花几百元即可分析海量数据.ODPS可在6小时内处理100PB数据,相当于1亿部高清电影.此前,全球掌握这种能力的公司仅有Google.亚马逊等少数几家. 阿里云ODPS团队在一封公开信<人人都可以成为BAT>中表示:工业革命后的200多年里,人类对物理资源的利用登峰造极,对数据资源的利用却仍处于起步阶段.Go

阿里云发布移动数据中心“闪电立方”:为PB级海量数据迁移而生 

在人人习惯网络下载的时代,像快递一样来搬数据显得有点奇怪?其实这才是企业需要的.  6月10日,在2017年云栖大会·上海峰会上,阿里云发布了一款重磅级产品--"闪电立方".它像是一个可移动的"数据中心",通过一个安全的存储硬件,可将100TB数据安全地一次性转移,最快24小时即可完成PB级数据迁移. 尽管当前网络带宽不断增长,但相对于数据量的增长而言好像还不够,尤其是当数百TB以上数据要在不同的服务器中转移时.物理迁移则是被业内公认的最佳数据迁移方案,<计算

阿里云发布大数据工具采云间 将支持可视化分析

25日,阿里云计算发布大数据工具采云间--基于ODPS的简易工具解决方案.利用采云间,中小型公司不用再购买上百万元的商业智能(BI)软件,大大降低大数据分析的门槛. 采云间是一个Web端的在线工具,简称DPC(Data Process Center),内部集成了阿里数据开发者套件和商业智能套件.目前免费公测版本功能,包括数据工厂.任务管理和数据同步:数据工厂主要提供ODPS IDE工具和SQL代码http://www.aliyun.com/zixun/aggregation/17569.html

阿里云发布函数计算 毫秒级弹性伸缩

本文讲的是阿里云发布函数计算 毫秒级弹性伸缩[IT168 现场报道]4月26日,在云栖大会·南京峰会上,阿里云宣布函数计算(Function Compute)启动邀测.这是一个事件驱动的无服务器计算平台.用户按需调用.按需付费,无需管理服务器等基础设施,特别适用于应用场景中有明显波峰波谷的企业. 函数计算的推出是阿里云在Serverless领域的重要产品.当人们想使用计算资源时,再也不用先买一台计算机.开发者通过函数计算即可获取巨大计算资源,发挥自己的创造才能,我们可以真正从计算机时代进入计算时

阿里云发布异构计算产品家族,你可以在上面模拟核爆炸

本文讲的是阿里云发布异构计算产品家族,你可以在上面模拟核爆炸 数据.算力和算法,这是人工智能发展的三大要素. 近一年来,人工智能迎来了史上第三次热潮.移动互联网时代沉淀下来的大量数据和GPU近几年的快速发展,让学界和业界相信,这人工智能时代真的要来了. 由于人工智能模型训练对算力的要求,原有的通用型CPU架构无法满足,不少企业或科研机构在训练模型的时候会通过采用和主处理器(CPU)不同架构的加速器件(也就是所谓"异构"),如GPU.FPGA.ASIC等器件,提供高密度并行计算的运算能力

阿里云发布大数据工具采云间

ZDNet至顶网软件频道消息:阿里云计算发布大数据工具"采云间"--基于ODPS的简易工具解决方案.采云间可大大降低中小型公司大数据分析的门槛. 阿里云发布大数据工具采云间 将支持可视化分析 采云间是一个Web端的在线工具,简称DPC(Data Process Center),内部集成了阿里数据开发者套件和商业智能套件.目前免费公测版本功能,包括数据工厂.任务管理和数据同步:数据工厂主要提供ODPS IDE工具和SQL代码管理功能:任务管理可以实现任务调度和执行监控:数据同步支持本地数

华栖云联合阿里云发布“云上电视台” 实现媒体云端采编播存管

5月23日,在云栖大会•成都峰会上,华栖云联合阿里云发布"云上电视台"解决方案,面向电视台新媒体部门,面向视频PGC/UGC,在公共云上.一站式提供从直播.点播.短视频的生产.制作.发布到用户数据存留分析.精准推送.视频内容的生命周期管理等全套的解决方案. "云上电视台"让互联网用户能够随时随地通过不同终端看到想看的视频内容,让电视台的新媒体部门低门槛快速起步,弹性扩展生产平台,投入和传播效果强关联,让资源更有效益.既可以支持专业机构制作更精良的视频内容,也可以支持

阿里云发布新物种神龙云服务器 媲美物理机性能的弹性云服务器

10月12日,在2017杭州·云栖大会上,阿里云发布了全新一代的计算类服务器产品--神龙云服务器(X-Dragon Cloud Server). 神龙云服务器是一种可水平弹性伸缩的高性能计算服务,融合了物理机与云服务器的各自优势,实现超强.超稳的计算能力. 通过采用自主研发的虚拟化2.0技术,神龙云服务器兼有普通云服务器的弹性和物理机的高计算性能及物理级别隔离的优势. 同时,秒级交付的特性将更好地满足大中型企业的高性能弹性计算的需求. 神龙云服务器具有四大突出亮点:极致性能.加密计算.秒级交付,