昨夜难忘?今晚20点,容器、中间件、负载均衡等实战交流继续!

良辰美景与您只差一个点击==》大流量高并发互联网应用实践在线峰会



昨晚(20日)20点整,大流量高并发互联网应用实践在线峰会如约召开,阿里林伟、朱震杰、顾风胜、罗龙九、陈哲等数位专家不仅分享了各自领域的大流量与高并发实践经验,更就用户疑问与来宾完成了深入的探讨,真正的做到了分享交流具精彩!

觉得小编夸大其词?现场都还没撤呢!不妨看向阿里云数据库资深专家林伟与一位来宾小可爱的交流:

来宾:专家你好,正在听您的演讲。特别想了解下,现在有Hadoop、Spark、Storm等热门的大数据框架,你们为什么还会去自研大数据平台?

林伟:有以下考虑

第一,    我们有众多的开源的大数据框架,比如Hadoop、Spark、Storm,大家基本上是在虚拟集群中去部署运用的,这些计算框架较少考虑多租户的使用场景,需要依赖虚拟机去做各种资源的隔离和共享,但是这种方式对于计算任务太重,并且粒度不够小和灵活,对于阿里内部本身这么大体量的计算任务来说,从成本、性能和规模上都达不到目标,这是为什么各个大公司内部都有一个自研的大数据平台,比如微软、谷歌。

第二,    开源系统本身也需要完善,在规模上,性能上,功能上,我们内部对于大数据计算有些更高的要求,我们希望通过这个更好需求下去推动系统的提高,并且开源还缺乏一些配套组件,比如数据仓库、数据质量管理、部署、监控。所以我们希望我们能够完善这些,从而提供更完整的服务体验,所以从这个角度上,MaxCompute提供更像bigquery是一个开放共享(区别于用虚拟器加开源的软件包)计算服务平台,当然我们也努力把我们的工作比如optimization等回馈社区,并且从api接口上去兼容社区,从而帮助我们用户更加好的来使用我们的服务。

第三,    就是做到用户精细控制数据访问控制,从而做到最大程度保护用户数据,同时又可以灵活分享发布自己的数据来让服务商来根据这些数据去创造更好用户服务。在这个系统上,我们还打造数加等多款数据加工平台,提供智能推荐、智能语音、图像视屏处理、机器学习、数据流控制、监控、数据发现、任务调度等等,从而能够帮助用户更好的去处理他的数据。

是不是以为到这里就结束了,其实并没有,更有小伙伴为这位用户交代了背景!

刘吉哲:感谢您的提问。

的确现在有很多开源的软件,阿里第一天处理大数据时也是使用的Hadoop,当时阿里Hadoop集群服务器数量超过了2000台。随着集团数据业务的增长,2000台无法满足数据处理的需要了,再向上扩展机器的时候,Hadoop已经无法支持跨机房数据存储和计算的需求。 同时阿里在使用Hadoop的时候,也遇到了一些问题,像数据安全,今天MaxCompute的权限可以做到字段级授权。在日常数据业务中,不同的用户也需要流计算、机器学习算法,这些作业都需要混合运行在同一个集群中。 如何为作业合理的分配资源、进行作业管理,也是在Hadoop时代无法很好的实现的。我们吸收了开源软件的优点,同时结合复杂的数据业务,在这种情况下 MaxCompute诞生了。MaxCompute是阿里的攻城獅们使用C++代码一行一行写出来的,性能要比开源的软件高很多。 去年MaxCompute参加了Sort bench mark 大赛,用377秒完成100TB数据的排序,以优异的成绩获取了第一名,而第二名用了1378秒。

看到这里,是不是已经感受到失去昨夜的痛苦了?没关系!今晚20点,容器、智能算法、中间件、负载均衡等干货将如期而至:

1. 金帅:如何打造应对超大流量的负载均衡

作为一个公网流量的入口,阿里云负载均衡应对超大规模流量的信心是什么?又如何去保持平稳顺滑的运行?为了应对各种大规模的活动,阿里云负载均衡又走了哪些性能调优之路?此次,阿里云高级技术专家将从集群部署、负载均衡高可用框架,流量监控,指标等多个方面为大家揭开。

2. 倪超:支撑海量用户的阿里中间件技术

进入2016年下半年,阿里巴巴即将迎来自己的第8次双十一大促。伴随着多年的双十一大促,中国的社会经济发生巨大的商业变革,与此同时,阿里生态背后的IT系统也接受一次又一次的洗礼。这些年下来,中间件技术完成了从1.0到3.0时代的蜕变,并已经完成了将技术变成商业化产品,与业界分享。本议题,将会围绕双十一大促,介绍在这一变革过程中,在不同的时间段,阿里巴巴中间件技术所面临的技术挑战和我们的解决之道。

3. 刘忠义:客户运营核心大数据与算法技术

聚星台是阿里巴巴赋能商家的客户运营平台,为商家提供包括千人千面访客运营、个性化营销、粉丝会员运营在内的一系列大数据驱动的客户运营能力。本次分享主要介绍聚星台的核心大数据和算法技术,包括智能千人千面算法、个性化营销算法、粉丝与会员运营算法等,同时也深入介绍了其中的核心的分布式算法技术,包括大规模图算法、排序学习和深度学习等。

4. 张智宇:阿里聚石塔电商云容器服务应用和实践

聚石塔是阿里电商云,承载着品牌商、ISV等阿里生态各角色的电商IT系统云化的任务,这些ISV和品牌商的系统很多都运行在淘系电商的主链路上,三方系统的稳定性就成为了这个淘系电商稳定性保障的重要组成部分。为了让ISV更好的支持双11、实现三方系统的高质量架构,今年开始聚石塔团队中对大部分ISV系统以及主要的内部服务进行了容器化改造。本次演讲将从异地多活、弹性计算,以及全链路压测等实际应用场景来分享聚石塔开发团队如何通过容器技术,实现高质量架构产品化输出和高质量架构赋能的目标。

5. 李浩:千牛开放从云到端

历年双11都是一次不断创造历史的过程,这中间有无数买家的血拼和卖家的努力,千牛作为卖家工作的第一入口,每天有数百万卖家真正的work at alibaba。从当年的阿里巴巴卖家版,到现在的一站式OS工作台,本演讲涵盖了千牛基于端支持二方三方业务开发所做的优化和官方实践;做为商家入口级应用,如何在双11等大流量情况下充分发挥端的能力,保证高可用性。

还在想什么?良辰苦短,您还差一个点击==》大流量高并发互联网应用实践在线峰会

时间: 2025-01-01 22:24:32

昨夜难忘?今晚20点,容器、中间件、负载均衡等实战交流继续!的相关文章

“集群和负载均衡”在实战当中的运用技巧

在"高并发,海量数据,分布式,NoSql,云计算......"概念满天飞的年代,相信不少朋友都听说过甚至常与人提起"集群,负载均衡"等,但不是所有人都有机会真正接触到这些技术,也不是所有人都真正理解了这些"听起来很牛的"技术名词.下面简单解释一下吧. 集群(Cluster) 所谓集群是指一组独立的计算机系统构成的一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信.应用程序可以通过网络共享内存进行消息传送,实现分布式计算机.通俗一点来说,就

负载均衡技术实战:利用4台Web服务器

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   集群的概念容易和一些概念(SMP .NUMA.MPP.分布处理)相混淆,其主要区别在资源被共享和复制的级别不同.它们是按SMP.NUMA.MPP.集群.分布处理从最紧 密到最松散的排列. 由于目前现有网络的各个核心部分随着业务量的提高,访问量和数据流量的快速增长,其处理能力和计算强度也相应地增大,使得单一的服务器设备根本无法承担.在此情况下,如果扔掉现有设备去做

Spring Boot与Docker(四):额外的微服务、更新容器、Docker Compose和负载均衡

本文讲的是Spring Boot与Docker(四):额外的微服务.更新容器.Docker Compose和负载均衡,[编者的话]本篇是<使用Spring Boot和Docker构建微服务架构>系列的第四篇,本篇我们我们将添加一些额外的服务/容器,并且更新容器,采用Docker Compose以及使用HAProxy容器进行负载均衡.原文作者为3Pillar环球旗下美国Adbanced技术集团的总监Dan Greene,Dan有十八年的软件设计和开发经验,包括在电子商务.B2B集成.空间分析.S

DockOne技术分享(一二五):深信服容器云的负载均衡实现

本文讲的是DockOne技术分享(一二五):深信服容器云的负载均衡实现[编者的话]此次重点讲的是在深信服容器云项目中的负载均衡方案的原理与实现.同时,因为我们投入的人力有限,人员的水平也有不足,但是借助Docker与Kubernetes等开源技术的发展,我们基本上达到了容器云平台中应用服务的负载均衡. [3 天烧脑式 Docker 训练营 | 上海站]随着Docker技术被越来越多的人所认可,其应用的范围也越来越广泛.本次培训我们理论结合实践,从Docker应该场景.持续部署与交付.如何提升测试

通过Docker Compose及NGINX反向代理实现ASP.NET5应用的负载均衡

本文以ASP.NET应用为例,讲述了如何通过NGINX访问运行在本机上的ASP.NET 5服务,并采用Docker Compose对ASP服务进行编排,同时提供简单的负载均衡机制. ASP.NET 5可以在很多操作系统下运行,也支持IIS等多种不同的web服务器.网上关于ASP.NET 5的教程有很多,这里我就不多说了,大家可以自己去搜索.今天我们要讲的是如何通过NGINX访问运行在本机上的ASP.NET 5服务,并采用Docker Compose对ASP服务进行编排,同时提供简单的负载均衡机制

基于Docker的负载均衡和服务发现

应用的容器化和微服务化带来的问题 在缺省网络模型中,容器每次重启后,IP会发生变动,在一个大的分布式系统保证IP地址不变是比较复杂的事情 IP频繁发生变动,动态应用部署无法预知容器的IP地址,client端如何发现server端的访问端点? 解决方案(根据客户端是否有感知进行分类) 客户端的发现.client 订阅注册中心,有一个固定的注册中心地址,client订阅某个服务的注册中心,注册中心根据服务的运行状态推送某个服务的访问端点列表给client端. 该方案的实现举例有dubbo,DNS的解

DockOne微信分享(七十一):基于Docker的负载均衡和服务发现

本文讲的是DockOne微信分享(七十一):基于Docker的负载均衡和服务发现[编者的话]Docker已经成为时下热门的容器技术,各大公司,中小创业者,都选择采用Docker技术架构其下一代的系统和应用. 随着系统规模扩大,单一Docker容器不能应对压力,需要横向扩展到多个容器,我们需要考虑负载均衡的问题:单一职责的Docker容器之间需要相互通信,而容器在每一次重启之后,它的IP都可能发生变化,那么服务和服务之间如何发现对方? 这一次我们一起来交流基于Docker的负载均衡和服务发现.内容

LB 负载均衡的层次结构(转)

作为后端应用的开发者,我们经常开发.调试.测试完我们的应用并发布到生产环境,用户就可以直接访问到我们的应用了.但对于互联网应用,在你的应用和用户之间还隔着一层低调的或厚或薄的负载均衡层软件,它们不显山不露水默默的发挥着重要的作用,以至于我们经常忽略了它们的存在.因为负载均衡层通常不在一般开发人员的问题域内,而且它们一般都是现成且成熟的解决方案,以至于我们习惯性的忽略和认为乏善可陈.其实不然,本文就写写我对负载均衡层次结构的认知和理解. 硬负载 所谓「硬负载」就是采用硬件设备来提供负载均衡. 在七

tomcat6_apache2.2_ajp 负载均衡加集群实战分享_Tomcat

环境: -------------------------------------------- 一台apache2.2服务器,三台tomcat服务器: apache2.2服务器 1.ip:192.168.1.20 2.只装apache软件:httpd-2.2.6.tar.bz2 安装路径:/usr/local/apache2 tomcat服务器:均配置相同的应用. 1.集群名:balancer://tomcatcluster 2.三台集群服务器ip: IP_1:192.168.1.31 IP_