轻松hold住双11数据洪峰背后的秘密

双11刚刚拉下帷幕,激动的心还停留在那一刻——当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。

前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:
- 支付成功峰值达 25.6 万笔/秒
- 实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据、媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒!

想象下,1秒钟时间内千万人涌入双11会场的同时,依然应对自如!

面对流量峰值为去年100%增幅的数据洪峰,流计算技术今天我们突破的不止一点点,现在让我们揭开覆盖全集团实时数据的最新流计算技术吧!

流计算的产生即来源于数据加工时效性的严苛需求:

由于数据的业务价值会随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理,从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。

首先来展示今年(2017年)较去年(2016年)数据洪峰峰值的比较:

2016年:支付成功峰值12万笔/秒,总数据处理峰值9300万/秒
2017年:支付成功峰值25.6 万笔/秒,实时数据处理峰值 4.72亿条/秒,阿里巴巴集团数据公共层总数据处理峰值1.8亿/秒

在今年双11流量峰值翻翻的情况下,依然稳固做到实时数据更新频率:
——从第1秒千万剁手党涌入到下单付款,到完成实时计算投放至媒体大屏全路径,秒级响应!

面对越发抬升的流量面前,实时数据却越来越快、越来越准!在轻松hold住数据洪峰的背后,是阿里巴巴流计算技术的全面升级。

阿里数据在11月28日的北京,将会举办一场闭门分享。你可以了解,技术创新的背后,数据人是如何为之努力的。针对流计算环节,我们将分享

流计算应用场景

数据中台流计算实践中的数据链路

计算引擎升级及优化

……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

原文发布时间为:2017-11-21

本文作者:双11分享北京站

时间: 2024-12-22 03:01:28

轻松hold住双11数据洪峰背后的秘密的相关文章

如何扛住1.8亿/秒的双11数据洪峰?阿里流计算技术全揭秘

双11刚刚拉下帷幕,激动的心还停留在那一刻: 当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴--从进入会场到点击详情页,再到下单付款一气呵成. 前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入: 支付成功峰值达 25.6 万笔/秒 实时数据处理峰值 4.72亿条/秒 而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据.媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒! 想象下,1秒钟时间内千万

【双11背后的技术】双11数据大屏背后的实时计算处理

选自<不一样的技术创新--阿里巴巴2016双11背后的技术>,全书目录:https://yq.aliyun.com/articles/68637 本文作者:藏六  黄晓锋  同杰 1. 双11数据大屏的实时计算架构  1.1 背景 2016年的双11我们的实时数据直播大屏有三大战场,它们分别是面向媒体的数据大屏.面向商家端的数据大屏.面向阿里巴巴内部业务运营的数据大屏. 每一个直播大屏对数据都有着非常高的精度要求,特别是面向媒体的数据大屏,同时面临着高吞吐.低延时.零差错.高稳定等多方面的挑战

阿里旅行双11数据公布 单日成交超15亿

11月19日消息,双十一已经结束双十二即将到临之际,在昨日阿里旅行在互联网+旅游"新生态峰会上公布双十一的交易数据. 阿里旅行双11数据公布 单日成交超15亿 2015年阿里旅行双十一单日成交超15亿,其中出境游预订超80万件,酒店预订超86万间夜,国际机票售出超出30万张.当日有30余家成交超过千万的卖家,并产生2个亿级卖家. 阿里旅行总裁李少华透露,在11月11日凌晨预售尾款开付后的3分钟,阿里旅行交易额即破1亿,13分钟后破2亿,当日早上9点20分时,已经追平2014年的双十一全天成交额.

双11数据大屏背后的秘密:大规模流式增量计算及应用

首先从理解什么是数据流开始今天的分享,其实在真实的世界中,大部分的数据都是连续产生的数据流,比如手机上产生的GPS信号.用户在互联网上的行为.在线搜索.用户的点击.社交网络分享.即时通信以及一些传感器和物联网设备采集的日志信息等,这些数据都是连续产生的,自然就形成了数据流,在这些数据流产生以后,在很多场景下对于数据流的实时分析就会产生很大的价值. 接下来从大家比较熟悉的数据场景切入,比如大家经常会关注的股市情况,股价的波动其实就是实时数据的分析和聚合,除此之外大家在日常生活中还可能比较关心天气预

双11数据大屏背后:大规模流式增量计算及应用(附资料)

首先从理解什么是数据流开始今天的分享,其实在真实的世界中,大部分的数据都是连续产生的数据流,比如手机上产生的GPS信号.用户在互联网上的行为.在线搜索.用户的点击.社交网络分享.即时通信以及一些传感器和物联网设备采集的日志信息等,这些数据都是连续产生的,自然就形成了数据流,在这些数据流产生以后,在很多场景下对于数据流的实时分析就会产生很大的价值. 接下来从大家比较熟悉的数据场景切入,比如大家经常会关注的股市情况,股价的波动其实就是实时数据的分析和聚合,除此之外大家在日常生活中还可能比较关心天气预

惊!阿里双11数据中心来了一位顶级“刺客”?

早上好!阿里妹来考大家一道数学题:有10万件大小不同的商品,要平均放到1万个箱子里,应该如何分配? 对于聪明的你来说,这还是一个可解的问题.但是!如果问题更难一点:这10万件商品会随时变大变小,而且还有"矿泉水不能压在薯片上"等一大堆限制条件,如何在几秒钟内给出最均衡的装箱方案? 阿里巴巴的工程师每天都会面对这类问题.无数个应用对服务器的需求每时每刻都在变化,还有新的应用不断加入,如何才能把这些应用均衡的分配到数万台不同规格的机器上. 为了解放人类工程师并能够更好的分配计算资源,11月

双11数据大屏直播 / 双11作战大屏

免费开通大数据服务:https://www.aliyun.com/product/odps 双11大屏直播地址:https://h5.m.taobao.com/qn/pc/niuba-interview.html?spm=a1zb6.8232479.0.0.qfgVCn#!/interview/10035359 欢迎加入MaxCompute钉钉群讨论

阿里公布双11数据:第10分钟交易突破2.5亿元

[http://www.aliyun.com/zixun/aggregation/6149.html">TechWeb报道]11月11日零时,天猫1111购物狂欢节正式开始.据阿里巴巴集团实时提供的数据,零时开场10分钟后,支付宝的交易额突破2亿5千万. 数据显示,从11月1日开始,有近2000万热情的消费者将心仪商品收藏或添加到购物车,就等着11日零时的到来刷新页面付款采购.而在11月1号到7号这短短6天里,有超过3.2亿人次到天猫疯抢红包. 今年天猫主会场(1111.tmall.com

汽车之家双11数据:8小时购车破万 总额超17亿

DoNews 11月11日消息(记者 周勤燕)汽车之家今日对外了双11购车节的成绩,截止到11月11日8点,订购总量为11197辆,订购总金额为17.42亿.其中全款销量为2195辆,全款销售额达1.92亿. 汽车之家方面透露,今年双11疯狂购车节销售情况理想,在开始仅7分钟,一位来自上海的网友便以37.68万的价格,购进http://www.aliyun.com/zixun/aggregation/31329.html">凯迪拉克SRX 2014款 3.0L舒适型,成为今年双十一汽车电商