良辰美景与您只差一个点击==》大流量高并发互联网应用实践在线峰会
昨晚(20日)20点整,大流量高并发互联网应用实践在线峰会如约召开,阿里林伟、朱震杰、顾风胜、罗龙九、陈哲等数位专家不仅分享了各自领域的大流量与高并发实践经验,更就用户疑问与来宾完成了深入的探讨,真正的做到了分享交流具精彩!
觉得小编夸大其词?现场都还没撤呢!不妨看向阿里云数据库资深专家林伟与一位来宾小可爱的交流:
来宾:专家你好,正在听您的演讲。特别想了解下,现在有Hadoop、Spark、Storm等热门的大数据框架,你们为什么还会去自研大数据平台?
林伟:有以下考虑
第一, 我们有众多的开源的大数据框架,比如Hadoop、Spark、Storm,大家基本上是在虚拟集群中去部署运用的,这些计算框架较少考虑多租户的使用场景,需要依赖虚拟机去做各种资源的隔离和共享,但是这种方式对于计算任务太重,并且粒度不够小和灵活,对于阿里内部本身这么大体量的计算任务来说,从成本、性能和规模上都达不到目标,这是为什么各个大公司内部都有一个自研的大数据平台,比如微软、谷歌。
第二, 开源系统本身也需要完善,在规模上,性能上,功能上,我们内部对于大数据计算有些更高的要求,我们希望通过这个更好需求下去推动系统的提高,并且开源还缺乏一些配套组件,比如数据仓库、数据质量管理、部署、监控。所以我们希望我们能够完善这些,从而提供更完整的服务体验,所以从这个角度上,MaxCompute提供更像bigquery是一个开放共享(区别于用虚拟器加开源的软件包)计算服务平台,当然我们也努力把我们的工作比如optimization等回馈社区,并且从api接口上去兼容社区,从而帮助我们用户更加好的来使用我们的服务。
第三, 就是做到用户精细控制数据访问控制,从而做到最大程度保护用户数据,同时又可以灵活分享发布自己的数据来让服务商来根据这些数据去创造更好用户服务。在这个系统上,我们还打造数加等多款数据加工平台,提供智能推荐、智能语音、图像视屏处理、机器学习、数据流控制、监控、数据发现、任务调度等等,从而能够帮助用户更好的去处理他的数据。
是不是以为到这里就结束了,其实并没有,更有小伙伴为这位用户交代了背景!
刘吉哲:感谢您的提问。
的确现在有很多开源的软件,阿里第一天处理大数据时也是使用的Hadoop,当时阿里Hadoop集群服务器数量超过了2000台。随着集团数据业务的增长,2000台无法满足数据处理的需要了,再向上扩展机器的时候,Hadoop已经无法支持跨机房数据存储和计算的需求。 同时阿里在使用Hadoop的时候,也遇到了一些问题,像数据安全,今天MaxCompute的权限可以做到字段级授权。在日常数据业务中,不同的用户也需要流计算、机器学习算法,这些作业都需要混合运行在同一个集群中。 如何为作业合理的分配资源、进行作业管理,也是在Hadoop时代无法很好的实现的。我们吸收了开源软件的优点,同时结合复杂的数据业务,在这种情况下 MaxCompute诞生了。MaxCompute是阿里的攻城獅们使用C++代码一行一行写出来的,性能要比开源的软件高很多。 去年MaxCompute参加了Sort bench mark 大赛,用377秒完成100TB数据的排序,以优异的成绩获取了第一名,而第二名用了1378秒。
看到这里,是不是已经感受到失去昨夜的痛苦了?没关系!今晚20点,容器、智能算法、中间件、负载均衡等干货将如期而至:
1. 金帅:如何打造应对超大流量的负载均衡
作为一个公网流量的入口,阿里云负载均衡应对超大规模流量的信心是什么?又如何去保持平稳顺滑的运行?为了应对各种大规模的活动,阿里云负载均衡又走了哪些性能调优之路?此次,阿里云高级技术专家将从集群部署、负载均衡高可用框架,流量监控,指标等多个方面为大家揭开。
2. 倪超:支撑海量用户的阿里中间件技术
进入2016年下半年,阿里巴巴即将迎来自己的第8次双十一大促。伴随着多年的双十一大促,中国的社会经济发生巨大的商业变革,与此同时,阿里生态背后的IT系统也接受一次又一次的洗礼。这些年下来,中间件技术完成了从1.0到3.0时代的蜕变,并已经完成了将技术变成商业化产品,与业界分享。本议题,将会围绕双十一大促,介绍在这一变革过程中,在不同的时间段,阿里巴巴中间件技术所面临的技术挑战和我们的解决之道。
3. 刘忠义:客户运营核心大数据与算法技术
聚星台是阿里巴巴赋能商家的客户运营平台,为商家提供包括千人千面访客运营、个性化营销、粉丝会员运营在内的一系列大数据驱动的客户运营能力。本次分享主要介绍聚星台的核心大数据和算法技术,包括智能千人千面算法、个性化营销算法、粉丝与会员运营算法等,同时也深入介绍了其中的核心的分布式算法技术,包括大规模图算法、排序学习和深度学习等。
4. 张智宇:阿里聚石塔电商云容器服务应用和实践
聚石塔是阿里电商云,承载着品牌商、ISV等阿里生态各角色的电商IT系统云化的任务,这些ISV和品牌商的系统很多都运行在淘系电商的主链路上,三方系统的稳定性就成为了这个淘系电商稳定性保障的重要组成部分。为了让ISV更好的支持双11、实现三方系统的高质量架构,今年开始聚石塔团队中对大部分ISV系统以及主要的内部服务进行了容器化改造。本次演讲将从异地多活、弹性计算,以及全链路压测等实际应用场景来分享聚石塔开发团队如何通过容器技术,实现高质量架构产品化输出和高质量架构赋能的目标。
5. 李浩:千牛开放从云到端
历年双11都是一次不断创造历史的过程,这中间有无数买家的血拼和卖家的努力,千牛作为卖家工作的第一入口,每天有数百万卖家真正的work at alibaba。从当年的阿里巴巴卖家版,到现在的一站式OS工作台,本演讲涵盖了千牛基于端支持二方三方业务开发所做的优化和官方实践;做为商家入口级应用,如何在双11等大流量情况下充分发挥端的能力,保证高可用性。
还在想什么?良辰苦短,您还差一个点击==》大流量高并发互联网应用实践在线峰会