AI是重要卖点 京东技术团队讲解双十一攻坚战

在临近今年双十一还有两个周的时间点,京东团队从技术角度,详解了如何打好618、准备双十一的攻坚战。

技术加持大促

京东商城首席架构师刘海峰表示,每年的“大促”,都是研发的一场重要的考试,确保系统安全性。他主要从四个方面来介绍了大促备战,可以分4个项目来介绍ForceBot军演压测、Chaos Monkey 故障演练、广域分部架构、阿基米德,通过这些项目展示了对故障、流量、扩展、成本的应对。

第一,让京东技术系统能够确保0故障。

刘海峰表示,为了检验技术系统的稳定性,确保系统在硬件与服务出问题时不影响用户体验,京东研发团队开发出一套名叫ChaosMonkey的系统,专门应用于京东做大规模的故障演练。可以说,故障演练是京东过去几年大促中的例行工作。

根据故障类型从网络层面、系统层面、数据库和中间件,甚至到应用服务的层面,去做各种各样的故障模拟和验证。来考察各级力度发生的时候,我们整个基础团队的检测、响应、处理还有恢复的时间。我们要求小的故障不需要人介入,大故障人工介入可以快速完成。通过整个这样的工作,在大促之前的两个月期间密集的来开展,提高我们对大规模故障的容错能力。

第二,所谓流量,即是通过ForceBot军演压测,确保有较强的技术能力能够扛住大促峰值来临时的巨量流量冲击。

每年双11与618当夜零点,瞬间流量是很大的,为了应对此间流量高潮,京东技术团队需要提前做大量压测工作。早期,所有压测都局限某一个系统或者某一个链条里面。但是,刘海峰表示,这样做会有缺陷,它不能很好地检验全链条系统,这些对大促来讲都是最关键的。

2016年10月左右,京东集团团队开始设计一个新一套的军演机器人,ForceBot,如模拟一千万个用户在全国各地同时部署于京东节点,在真实流量的情况下,机器人通过程序发起大的流量进行全链的压测,发起上亿的浏览、搜索、加购物车、下单等等并发任务。通过写程序模拟人的行为——发起上亿的浏览、选商品、加购物车、下单等,实现,整个全链路联动的压测。

于是,从2016年双11开始,单机房的军演压测成为大促之前最关键的工作。刘海峰表示,今年618备战期间,团队进行了四次全链路的军演压测,通过单机房的军演压测成为系统优化以及资源评估、分配的重要依据。

第三,所谓扩展,也是今年在做的广域分部架构,在公司规模不断扩展、消费者流量不断增加的情况下,增加机器、新建机房,同时保证公司业务实现没有上限地增长下去。

京东的技术架构经历了从JAVA到同城单机房到同城双机房、最后到广域分布式的过程。国内的各个地域,包括华北、华南、华东均有不同的IDC,整体形成大数据中心,同时让用户流量就近接入,解决整体可扩展性问题,无论哪个区域出现问题,都能实现灵活流量调度。刘海峰表示,这套过程名叫“异地多活”,不同公司、团队对它均有不同理解,京东的特殊性在于经历了完整的历程。

第四,有效控制成本,在合理阈值内搞大促。

随着每年618与双11业务增加、访问流量增大、投入资源增加,购入的机器越来越多,机器成本已然非常高,怎样既做好大促、同时合理控制成本,京东技术团队提出名为“阿基米德”的技术方法,具体来讲是——

第一,做海量资源池的统一调度,特别是在线业务是京东主要大促的备战服务,此外还有离线处理。技术团队将两个资源池打通,做抢占式调度,然后做大规模超卖,进一步提升资源利用率。

第二,做混合云,京东技术团队在大促期间租用一部分机器,比如京东云,也有可能是其他云服务合作伙伴,扛住大促流量。

AI的融入

在京东商城中台研发高级总监王晓钟印象中,AI技术融入到京东每年618与双11,并不是发生在某个具体节点,而是一种自发性的、百花齐放状的。包括客服机器人、智能补货、销量预测、供应链体系的优化这些都是通过人工智能的技术来实现的。

具体来讲,AI技术对大促的技术保障有哪些方面呢,王晓忠从两点向雷锋网介绍:

第一个,京东技术团队研发经验机器人,进行全链路故障演练,某种程度上来说也是程序模拟人的行为,去模拟一个大的流量场景。

第二,大促期间,京东技术团队利用AI技术去更智能地服务一些客服任务。

今年京东双十一较以往最大的不同,可以说就是AI技术的运用了。王晓钟对雷锋网(公众号:雷锋网)解释称,以线上流量监控为例,做方案、降级、分流等任务,均是人工完成,今年已实现在监控数据详实基础上的半人工智能化,王晓钟称,预计明年618与双十一可以实现在很大程度上的全人工智能化。

容器系统上,京东做了四年之久:2014年8月第一代名为JDOS的容器平台,最初定位不仅仅做容器,还做整个数据中心的OS,系一套大的集群管理系统。从2014年至2016年初,京东容器一直都是OPenStack的1.0系统;从2016年初开始,启动OPenStack 2.0系统,将线上几十万核实现异地迁移,以实现更简单的运维。

其次,刘海峰表示,团队在做更统一、更动态的资源调度,不再是固定多少核,而是根据负载做大规模的统一调整。这个资源池不不仅限于在心业务的资源池,还有离线业务的资源池,让它更有弹性。

具体而言,从经济效应来说,如果想让集群管理更有经济价值,无非是两方面的工作——超卖与强行调度。刘海峰表示,从2011年到现在,通过超卖技术节省了很多机器。今年大促京东也会广泛地使用在线和离线的混合调度的方式,缓解大促时候的峰值的流量。

对于今年备战双十一,包括阿里、京东、苏宁等电商平台纷纷加码人工智能、无人机、无人店等宣传曝光,王晓钟对雷锋网表示,人工智能是在备战中很重要的卖点,同时更是看得见、摸得着的很实在的东西。

本文作者:吕倩

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-08-01 22:06:43

AI是重要卖点 京东技术团队讲解双十一攻坚战的相关文章

蚂蚁金服AI团队 + 会员技术团队招聘算法工程师

亲,还在为生不逢时接连错过支付宝支撑电商快速发展时代和在第三方在线支付市场开疆拓土时代而懊悔不已吗? 现在时光机来了!为了早日到达万众期待的无现金社会,让身无分文照样吃喝玩乐成为现实,蚂蚁金服线下支付战役已拉开序幕. 想了解"蚂蚁森林"是如何诞生的么?想了解如何打造基于商户.服务商和用户的线下支付生态圈吗?想了解如何进行金融领域建模.设计并实现可扩展.高性能.高可用的应用平台吗?想了解如何高效处理数十亿级海量数据.支撑分布式数万级高并发访问.并保证数据一致性和准确性吗? If not

AI|揭秘阿里视觉计算团队:用机器替代人眼看透照片视频的秘密

用机器替代人眼看透照片视频的秘密 2016年初,华先胜加入阿里云并创立视觉计算团队,负责云上的视频图像智能分析.识别.搜索.生成和挖掘服务.2017年的春节前夕,阿里巴巴公布了2016年第三季度财报,其中阿里云计算业务本季营收为17.64亿元,同比增长115%,付费用户数量达到76.5万,同比增长100%--这已经是阿里云营收连续第7个季度保持100%以上的增幅了.2016年10月,阿里云计算项目"城市大脑"在杭州上线测试,通过接入交通监控视频等数据收集,对整个城市进行全局实时分析,自

阿里巴巴-商家事业部-数据技术团队招聘火热进行中,绿色通道直达offer!

阿里巴巴-商家事业部-数据技术团队招聘火热进行中,绿色通道直达offer! 商家事业部-应用技术团队致力通过大数据和人工智能的技术为阿里数千万的商家及服务商提供数据产品和平台,这里有海量真实的数据和最有前景的商业环境,在这里有应用和突破业界最前沿的大数据技术的机会和场景. 我们为商家提供独立大数据产品有:客户运营平台 (是为阿里商家打造的数据驱动的客户精细化运营平台).御膳房(为阿里商家提供的从经营决策到营销优化全方位商业技术产品解决方案,包括面向营销的策略中心和企业自己的数据银行,以及定制化的

WOT 2016王栋:技术团队的升级之路

在现如今用户至上的时代,好的产品和服务才是王道;好的产品需要好的技术支持,如何打造出好的技术团队,如何完成技术团队的升级之路?关于这个问题,WOT企业安全峰会[CTO训练营管理专场]特邀讲师.雪球CTO王栋老师将为我们详细讲解. [嘉宾简介] 王栋,雪球CTO,2001年加入到雪球,负责雪球的供应团队,关注整个雪球各种项目的流程.规范,基础设施的建设,架构的引进等. 据了解,雪球目前注册用户千万+,日活用户百万+,雪球在短短的四五年时间发展如此迅速,离不开优秀的技术团队的支持,更离不开良好的团队

Ajax异步请求技术实例讲解

AJAX的全称是Asynchronous JavaScript and XML(异步的 JavaScript 和 XML). AJAX不是新的编程语言,而是一种使用现有标准的新方法.ajax是与服务器交换数据并更新部分网页的艺术,在不重新加载整个页面的情况下. ajax是一种在无需重新加载整个网页的情况下,能够更新部分网页的技术. ajax是一种用于创建快速动态网页的技术.通过在后台与服务器进行少量数据交换.ajax可以使网页实现异步更新.这意味着可以在不重新加载整个网页的情况下,对网页的某部分

“我”脑海中的优秀技术团队

文中的"我",其实不是一个单纯的角色,它可能会包含多层含义,不管是我作为一个团队的管理者,还是我作为一名技术团队的普通员工,都会对自己的团队有一些期许,一些定义,一些要求,而这就是今天我们要谈论的话题.希望这些思考能够对管理者或者求职者有些帮助. 团队的首先组成就是人,那我理想中的技术团队中的人应该是怎样的呢?作为团队的负责人,其实对于人这方面的把关我一直是非常严格的,对于进入到我团队里的成员,通常需要有以下品质,这就是我对技术人的理解. 1.好奇心. 你为什么做技术?一些人是为了糊口

出色技术团队的关键要素

原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 .作者信息和本声明,否则将追究法律责任. http://blog.csdn.net/hzliyun/article/details/7078947. 对于出色技术团队的关键要素可以从下图中找到.下面让我来对其进行解读. 这幅图首先映入眼帘的是,它是一个三角形,而其顶点则是求精.求精离不开下面三个要素的支持,即分享.责任和合作.求精应是技术团队所追求的最高目标,只有拥有求精的精神,团队的技能才能得到逐步的提高,也只有求精的精神,团队的长

技术团队负责人应该具备怎样的能力

公司的技术团队负责人应该具备怎样的能力? 或者说团队Leader应该知晓和锻炼什么样的能力? 大公司.创业公司都经历过,从Leader或创始人那里学到了不少东西,自己也会慢慢总结,保持学习的状态,这里就发表一下个人想法,也参考了曾看到的优质文章和朋友的看法. 主要从业务.团队.技术三个层面讨论,当然它并不能适用所有公司,也能可引发一些口水,而且我做的是客户端负责人,所以仅供参考咯. 1. 业务  为业务负责就是为产品和服务负责,作为技术团队,总要完成主要任务不是,总要把产品或服务好好的实现不是?

2016里约奥运会倒计时 技术团队谈幕后科技

离里约奥运会和残奥会开幕只剩下两个星期,奥运会技术团队要在8月5日运营模式开始前紧迫的时间表里完成交付阶段. 奥运会比赛所需的的技术要素众多,包括为每个设备的电话和音响系统.无线通信和Wi-Fi服务等等,而Atos.思科及当地电信巨头Embratel公司则是主要供应商.其他关键技术合作伙伴包括三星.松下.EMC.微软.欧米茄和赛门铁克. 每一个奥运场馆服务的特征已经在定义阶段做了映射.奥运技术团队由首席信息官EllyResende领头,已进入推出实际技术的最后阶段.虽然公众期望准备应该早就做好了