数据规模恼同程,混合云飘来除杂症

10月13日2016杭州云栖大会拉开帷幕,电商专场的同程旅游首席架构师王晓波带来了“同程带您云端翱翔”的重要演讲。本次分享对同程旅游进行了简要介绍,接着分享了同程旅游的数据驱动历程,最后着重讲述了在云端时代的同程旅游,包括公有云和私有云的混合打通等。精彩不容错过——

 

以下内容根据演讲PPT及现场分享整理:

 

在线旅游更多的考虑怎样让用户满意。本文通过三个方面和大家分享同程旅游如何用数据驱动实现业务创新和业务快速发展的,首先对同程旅游进行了简要介绍,接着分享了同程旅游的数据驱动历程,最后着重讲述了在云端时代的同程旅游,包括公有云和私有云的混合打通等。

以下为精彩内容整理:

 

发现旅游之美

旅游是件很美的事情,怎样保证用户找到的是旅游佳地呢?同程旅游就是为了让用户更好的去旅游,其在中国景点门票预订市场和邮轮领域处于领先位置,并积极布局境外游、国内游、周边游等业务板块。同程旅游旗下运营同程旅游网(www.LY.com)和同程旅游手机客户端, 2016年服务人次将达到3.5亿,年均增长300%,让更多人享受旅游的乐趣是同程旅游的使命。

 

数据驱动的同程旅游

初期时代

初期时代同程的数据驱动更多的关注网站被搜索引擎输入的情况、收录排名、关键词、现金流和流量转化。此时的网站很小,基于小数据做了一些基础服务,访问统计,使用关系数据库BI,且服务器托管。

移动时代

移动时代同程的APP开始推广,2014年下载量已达2亿,此时同程的数据驱动开始考虑到下载量、激活情况、每天在线使用同程旅游的用户数量、每天的新用户数量、复购率以及留存率等。此时的商品也更加多样化,有高频和低频商品之分,怎样让高频转向低频去消费和怎么让低频又返回到高频消费是我们要去分析的,我们采用了开源大数据架构,基础设施从几台变成几千台服务器,开始建设自己的私有云平台。

数据时代

数据时代同程做到线上线下的融合,建设了公有云+私有云的平台,同程的数据驱动更多的关注门店、高潜用户、旅游顾问等,旅游顾问就是大数据+人的线下推广。现在,同程是一家架在互联网上的“旅行社”,更多的是用数据去驱动整个业务的发展。

 

此外,数据驱动了用户画像,同程的用户画像是根据时间、人物以及当前情况定制的用户画像;数据也驱动了产品的选品,订单的预测;数据还驱动了安全风控、防黄牛党、研发运维,用技术驱动技术,由被动转主动,用数据告诉大家什么才是好的,解决在业务型互联网公司技术的驱动率。

同程数据驱动背后的数据规模也很庞大,有5000+服务器,2w+容器,应用3000多个,PV20亿左右,日均报错3W多,其中60%通过大数据应用平台自愈,日均拦截恶意访问也有10W+。

 

同程旅游云端时代

解决基础问题

十年前,同程只是一个简单的网站架构,性能瓶颈频发,没有任何运维,更别提伸缩性了。

但是现在,同程已经不再简单,各种应用增加3000多个,每天数亿级的请求量,原来很简单的一句SQL,现在已经没法用了,服务器也已经加到无法再加,运维也是问题百出。系统越来越复杂,基础设施难度越来越大。

从小系统到大系统长大是一个必须经历的过程,于是,我们做出了改变。

应用系统有很多,业务发展也很快,我们进行了分层处理。先解决基础问题,我们需要一个云解决基础设施的困难,需要一些一流水准的中间件,需要一个经验丰富的运维团队;再解决业务问题,将业务微服务化,将数据库变成数据平台,将原完全.NET向多语言发展,建立技术体系。

环境

我们部署了大量的Docker容器、轻量化的KVM,同时还有直接物理的部署(在私云中有部分部署不需要虚拟化会更好;我们的负载区服务器和大部分的数据库)。

缓存

我们在缓存上也做出了改变,多个小集群+单节点组成一个云,以场景划分集群,实时平衡调度数据,动态扩容缩容。

数据库

数据库是海量流量系统平台核心命门之一,数据库的热备机比较多但一些非核心库访问量很低。

运维

 

虽然做了很大的改变,但问题依然存在。基础成功云化后提供了基础云服务但说到实处也不过提供一堆可部署应用的机器;应用系统的扩展,速度开发,重用性等等也有很多问题;应用系统的故障依然很大。此外,还有弹性扩容的问题,以及新技术(语音识别)的支撑问题。

用云来支撑整个技术基础体系

公有云是创新驱动首选,我们使用了阿里云等云服务,实现了快速扩容,基础产品丰富可靠,安全也有了保障。

我们对公有云和私云进行全面打通,让我们的基础设施能够涵盖到私有和公有。我们在阿里云上部署了12个机器人,他们每天会向系统回报做了什么。

时间: 2024-12-06 10:04:01

数据规模恼同程,混合云飘来除杂症的相关文章

万国数据:“为了全方位保障混合云数据中心的安全,我们连猫都养了十只。”

"互联网+"时代背景下各大企业都在忙着互联网转型,企业用户出于安全和业务灵活性的考虑,更愿意将数据存放在私有云中,但是同时又希望可以获得公有云的计算资源和稳定性,在这种情况下,将公有云和私有云进行混合和匹配的混合云的异构形态被越来越多的采用.数据中心是承载混合云计算的必要硬件基础设施,不同于传统数据中心,用户在混合云数据中心的选择上更注重有安全保障.整体服务能力高和成本节能的数据中心. 万国数据是国内知名的高可用数据中心设施和服务提供商,自2001年成立以来在运营管理高可用数据中心方面

阿里云携万国数据输出全球最大混合云

本文讲的是阿里云携万国数据输出全球最大混合云[IT168 云计算]12月23日,2015云栖大会广东峰会在广州召开.阿里云资深专家汤子楠在演讲中表示,双11不断打破交易纪录的背后,有阿里巴巴强大的计算力量作为技术支撑. 汤子楠在演讲中重点介绍了阿里最大规模混合云架构.异地多活技术.自研数据库OceanBase.https加密技术.云上商家系统聚石塔.大数据处理引擎ODPS等等,展示了阿里巴巴强大的底层技术研发实力. 汤子楠表示,今天阿里内部的计算能力正通过阿里云向外界开放,越来越多的合作伙伴也从

大数据播报|你所不知道的关于“混合云”的几组真实数据

大数据播报第二期 数据1. 混合云市场增长强劲 数据说话 企业对于混合云的规划在未来24个月内会有较大幅度的增长,从目前的8.7%将增长到31.2%.其中尤其企业级用户在混合云上的需求增长幅度最大,从9.9%上升至40.4%. 数据2. 集中统一管理和安全是评估混合云的重要因素 数据说话 中国用户使用混合云最重要的考核因素是跨数据中心和云计算的应用及数据可管理性,从而实现混合云资源和服务的集中统一管理,其次是云计算环境中业务的安全性. 数据3. VMware仍是实现云部署的主要方式   数据说话

有货:六层混合云架构打造中国最潮生态圈

直播视频: (点击图片查看视频) 幻灯片下载地址:https://oss.aliyuncs.com/yqfiles/7ded2aa3052bb9226fd2af0a08873750.pdf 3月18日在线实时分享顺利结束,本次由有货CTO李建分享了有货为了应对流量的爆发式增长,对其整个系统做了大面积的系统重构,在数据中心.应用系统等方面全变改进,全方面地提升系统的可用性.本次视频直播的整理文章.视频.幻灯片整理完毕,如下内容. 为什么选择混合云架构? 图一 为何选择混合云架构? 为什么选择混合云

“任意云”再创佳绩 戴尔赢得CEIA最佳混合云方案提供商

CEIA中国企业IT大奖于近日公布,戴尔凭借任意云解决方案赢得最佳混合云方案提供商称号,可谓是对"任意云"在中国落地成果一大肯定. 2015年1月,戴尔首次在中国正式发布了其任意云解决方案.围绕任意云,戴尔提出了云就绪.云部署和云管理战略,帮助用户实现三步上云.针对任意云.任意部署方式,戴尔都能够满足业务发展各阶段的需求. 具体说来,戴尔任意云解决方案能让用户利用现有投资.循序渐进地应用云功能并简化云管理.戴尔灵活的模块化产品组合,包含智能平台构建块.异构管理工具和云服务等,可以帮助用

基于SDN的云网协同是运营商混合云组网利器

中国电信股份有限公司北京研究院.中国电信云计算及SDx联合技术开放实验室王峰日前,未来"云网协同"成为运营商网络SDN引入的重要驱动力,基于SDN的云网协同是运营商混合云组网利器 . 王峰表示,业务驱动是运营商网络引入新技术的必要前提,为此中国电信积极实践,在数据中心内网络.数据中心间网络和混合云网络三方面发力,满足云业务对网络产生的新需求. 在数据中心内网络,云资源池支持租户网络隔离, 满足虚拟机迁移等网络需求, 支持用户业务创新:和计算&存储资源的交付联动,支持网络资源的灵

混合云的容量扩展与功能添加

1.使用混合云来增加数据中心容量 "混合云"这个术语已经在IT操作团队中普遍使用,但并不是每个人对此都意见一致.基本上,混合云是指任何情况下,企业的部分应用程序在企业的数据中心运行,另一部分在一个公共云或多个公共云(如AWS,Microsoft Azure或Google云平台)中运行. 同时,私有云是企业将云类型架构和功能并入自己的私有数据中心.这里的目标是使其数据中心"看起来"像云,并利用云计算原则和最佳实践,但它只为企业自己使用. 有些人使用的"混合云

企业部署混合云亟需考虑的4大要点

云计算的兴起对于各行各业可谓是一大福音.由于混合云具有的公共云优势,而且它还让企业用户能够充分利用内部部署私有云的附加安全性和可控性,2015年各类规模的企业都针对他们的存储应用和各种工作负载开始采用混合云解决方案. 但是混合云的部署并不是一帆风顺的,通往混合云的道路荆棘丛生.数据和工作负载的迁移是很复杂困难的,而且并不是所有的工作负载都具有从一家云服务供应商到另一家供应商的互操作性.识别和解决这些混合云挑战是保持一个高效云环境的关键. 可扩展性.应用程序灵活性和资源管理受限 企业用户在使用公共

混合云需要一个怎么样的存储基础?一起来看看IBM如何应对!

人们一直希望能够像利用像水.电资源一样来利用IT资源.这也是云计算能快速发展的原因.但是就像人们的需求不同,有工业用水和生活用水,而生活用水中有人喜欢喝热水,有人喜欢喝瓶中水等等.围绕水资源产生的商业价值圈就慢慢形成并成熟起来. IT资源的进化同样如此,从传统的IT架构到超融合系统,从私有云到公有云在到混合云.实践出真知,经过IT技术的发展和企业的不断应用.IBM 商业价值研究院给出的调研数据,今天80%的企业对于公有云的服务呈现上升趋势.由于很多公司仍希望将一些数据保存在内部,混合云可帮助他们