【干货】强琦：阿里实时计算平台解析，30PPT

本文讲的是阿里自研实时计算平台支撑双十一阿里巴巴11月7日宣布,其大数据团队自研的实时数据计算平台Galaxy ,目前每秒可运算数据超过500万条,预计双十一当天每秒运算量将超过1000万条,日处理消息数将超过1万亿条.针对每一笔交易数据,系统将实时反复检测70余次以保证数据质量. 一分钟成交破亿,一千多万人涌入天猫.这是2013双十一购物狂欢节第一分钟的战况.这些数据在杭州淘宝城内的数据大屏实时播报.大屏上跳动的每个数字,来自于阿里内部60多个系统间的紧密合作:当你在以最快速度秒杀到双十一热卖

本文转载于:高效运维公众号 作者:范伦挺 作者简介: 范伦挺,阿里巴巴 基础架构事业群-技术专家.花名萧一,2010年加入阿里巴巴,现任阿里巴巴集团大数据计算平台运维负责人.团队主要负责阿里巴巴各类离在线大数据计算平台(如MaxCompute.AnalyticDB.StreamCompute等)的运维.架构优化及容量管理等 1.前言 本文主要会从以下四个方面来写,分别是: 阿里大规模计算平台运维面临的一些挑战: 阿里自动化平台建设: 数据精细化运维: 我对运维转型的思考和理解: 2.在阿里我们面

JRC用户需求多样复杂,用户要求的资源配置也大小不一,系统更新部署步骤繁琐,人工操作亦有极大的安全风险,与此同时,用户的资源需求也越来越多,大集群支持.资源节省亦是我们应该重点关注的问题. 本文就来介绍一种我们京东为了解决上述问题而研发的基于docker的实时计算平台. 现状以及问题 storm集群结构: storm拓扑结构: storm瓶颈 从storm架构图可以看出,storm整个集群对zookeeper的依赖非常大,无论是拓扑配置.分配信息.心跳.错误信息,均存储在zookeeper中,而

1.前言 随着互联网技术的迅速发展,用户对于数据处理的时效性.准确性与稳定性要求越来越高,如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战. 自2015年携程实时计算平台搭建以来,经过两年多不断的技术演进,目前实时集群规模已达上百台,平台涵盖各个SBU与公共部门数百个实时应用,全年JStorm集群稳定性达到100%.目前实时平台主要基于JStorm与Spark Streaming构建而成,相信关注携程实时平台的朋友在去年已经看到一篇关于携程实时平台的分享:

由于之前没写过博客之类的文章,所以这次写也是心中揣揣,也是由于这个项目间没有找到相关的一些文档,当时就想着完成后写一个出来,如果有写的不周到的地方,请联系我改正,谢谢. 一. 项目案例 用户商业模式含盖电商零售与加盟店批发零售,本次主要业务需求在于淘宝双11期间能实时计算用户所关注的一些指标数据,如:订单数.订单金额.商品SKU数.订单来源地.商品排名等等. 基于这些指标需求,除了要达到实时的要求以外,还需要具备适当的展现图设计,本次使用的是阿里云的DATAV,提供饼状图占比分析.商品与类目数据

[天极网服务器频道12月23日消息]在大数据时代,为了满足企业对于http://www.aliyun.com/zixun/aggregation/14345.html">数据处理的高要求,内存计算成为新的处理手段.通过将数据装载到内存完成数据处理,可以显著提高数据处理的速度.在近日举行的2013英特尔数据中心企业应用论坛上,英特尔数据中心事业部企业应用总监Patrick Buddenbaum现场演讲PPT透露了一些至强E7 v2的资料. Patrick在PPT中表示,大数据面临着有效存储.

2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献.阿里巴巴集团技术委员会主席王坚,阿里巴巴集团首席技术官(CTO)张建锋(花名:行癫),阿里巴巴集团首席风险官(CRO)刘振飞(花名:振飞),蚂蚁金服首席技术官(CTO)程立(花名:鲁肃)以及来自阿里巴巴集团各部门多位技术大咖齐聚一堂,与莘莘学子分享阿里的技术梦想. 阿里云高级专家 钱正平正在分享<大规模实时计算及应用> 在下午的<云计算和大数据>分论坛中,阿里云高级专家钱正平(花名:布民)

免费开通大数据服务:https://www.aliyun.com/product/odps 作者简介:   范伦挺 阿里巴巴 基础架构事业群-技术专家 花名萧一,2010年加入阿里巴巴,现任阿里巴巴集团大数据计算平台运维负责人.团队主要负责阿里巴巴各类离在线大数据计算平台(如MaxCompute.AnalyticDB.StreamCompute等)的运维.架构优化及容量管理等 1.前言 本文主要会从以下四个方面来写,分别是: 阿里大规模计算平台运维面临的一些挑战: 阿里自动化平台建设: 数据精细

"这个没啥好讲的,找XX和XX技术Leader吧?" "为什么挑中我?" "时间点再考虑下吧,要不要等--" -- 当发出云栖专家风采展示邀请时,应答没有直接答应.进一步沟通,你会发现推脱的背后,却是一位实实在在技术大牛的低调和谦逊. 应答认为,分布式系统架构设计为了满足20%高级用户的需求,有可能要提供80%的接口(原因见完整对话) 应答是阿里巴巴技术平台事业部架构与专家咨询的高级专家.架构与专家咨询究竟是什么样的一个岗位?应答做了剖析:本质上