Qcon2012杭州站参会分享

去年参加了QCon杭州2012大会,有一些收获和大家分享一下。

京东的分享

京东面临的问题

京东的分享嘉宾何斌提出京东之前面临的两个问题:第一个是促销时需要很多机器,但是平时不需要;第二个是当某一台客服中毒其他客服主机也会中毒。大家可以先思考下,觉得应该如何解决这两个问题呢?

京东的解决方案

第一个问题京东采用弹性架构的方式解决。当服务器的资源利用率超过一定阈值时动态扩展虚拟机。举一个例子:如在5分钟内资源使用率达到某个设定的阈
值时,就会自动生成几个虚拟机,虚拟机里会自动部署好相关的应用程序,在自动发布前有一个TestServer来监测生成的虚拟机是否可以对外提供服务。
云存储和云计算是分离的,云存储使用一个磁盘阵列来实现。

第二个问题京东采用桌面云的方式来解决。首先分配一批虚拟桌面池,然后客服通过权限登陆虚拟桌面,如果没有则再分配一批,虚拟桌面和人不是一一对应的,用完后就回到池子里别人可以继续申请使用,这样可以大大节约资源,当一台机器中病毒后只会影响到子网。

美丽说的架构演变

美丽说的技术总监王曦分享
了很多干货,美丽说的架构演变值得很多创业公司学习。美丽说起步的时候开发了一个浏览器插件,这个插件显示用户浏览的商品,插件里提供聊天室的功能,好友
间可以就购物进行交流,目的是让女孩子在上班的时候也有购物的感觉。通过这个插件美丽说发现女人对于购物的分享和交流具有非常大的兴趣,所以决定做一个网
站。美丽说的发展经历了不同的阶段:

十万级PV:采用LAMP架构,无memcache,基本SQL搞定。使用爬虫工具爬商品信息。

百万级PV:开始使用Redis。出现大量的写操作时,会先存储在Redis里然后异步写回数据库。

千万级PV:开始使用服务化。整体架构向SOA服务化转型,将所有的功能以服务化的方式提供,当某一个功能挂掉的时,其他功能仍然能继续使用。整个
架构分为API层(评论,用户管理,私信等),平台服务层(数据库,队列,爬虫等),基础服务层(cache,Redis和并发代理)。前端和后端彻底分
离,前后端可以单独上线。

美丽说发现稳定性和访问速度变得更加重要,例如,访问速度提高10%
PV会提高30%。美丽说的微博系统通过Redis来实现,给每个用户在Redis里建立一个类似邮箱的存储模型,当有用户关注的消息时,就往用户的"邮
箱"投递,投递时会采取很多策略,比如先投在线用户,再投活跃离线用户,最后投离线不活跃用户,或不投。

冯大辉的山寨CTO的速成班分享

冯大辉说道:

初去丁香园,发现系统做得很烂,经常不能访问。作为CTO,面临的第一个问题是选择,重新做一套?还是基于开源的论坛进行修改?还是基于旧系统修改?

冯大辉最后选择在旧系统的基础上进行修改。基于两点原因,重新做不一定比旧系统做得好,其次业界比较好的开源论坛很难做二次开发。

整个演讲所传达理念是:

CTO需要谨慎和专业,把一件技术吃透再运用。用数据说话,没有任何数据支撑,不要轻易做改版和新功能。要快,避免大团队,小团队攻坚,要敏捷但不要照搬敏捷的步骤。

让团队更敏捷。让大家坐在一起,让团队成员在团队之间轮岗,减少会议,减少沟通成本。

不要轻易用新技术。因为业界大多数成熟的公司并不是不断的用新技术,而是把已有技术用得非常登封造极,新技术也会逐渐变成老技术的。

最后,不想做CTO的架构师不是好程序员。

聚划算的分享

大对象的存储方案:大量用户登陆到聚划算,聚划算需要通过IP定位到用户的城市,像IP库这种非常大的对象,如果使用Redis存的话会有很高的网络开销,所以聚划算将这些大对象存在本地JVM的内存中,然后在不同的服务器之间通过消息同步大对象里的数据。

分布式任务系统:通过一个第三方服务器来管理所有的任务,使任务能分别在不同的机器上运行,可以通过锁来实现,拿到当前任务锁的机器才能执行当前任务。

缓存击穿攻击问题:如果有用户访问淘宝不存在的产品id,那么系统每次都会绕过缓存直接访问数据库,解决方案是可以通过在缓存里标示该商品不存在来防止。在微博里校长回复说,CDN也有这样的问题,比如使用404攻击,通常类似的问题5-20秒的cache就足够了。

Paypal的分享

Paypal的演讲嘉宾一上台先来一支骑马舞热热场,很欢乐。Paypal主要分享CEP。 CEP是复杂事件处理的意思,是数据库的反方向,从数据库里查数据是使用查询语句拿到结果,而CEP是把数据发到一个地方然后得到结果。

Paypal嘉宾分享的CEP感觉和我以前做的安全日志分析有点像。安全日志分析可以基于状态,统计,行为等手段进行分析。基于状态机的日志分析,
比如1号有某帐号不停尝试登陆的日志,10号有这个帐号在操作某台机器的日志,就说明这个ip有可能在攻击我们的主机,通过多个日志的组合分析出安全风
险。

组建一支强悍的小团队

陈皓(@左耳朵耗子)分享的”组建一支强悍的小团队”和
facebook的精英文化很类似。不过他的分享比较极端,他说在一个团队里除了程序员,其他的角色都是不干活的,比如项目经理、产品经理、配置管理员、
主管等,他的理由是:团队大、角色多、流程多、会议多、内耗大,而在项目中需求分析,项目管理,质量保证和运帷程序员都能搞定。通过减少角色分工,沟通成
本和内耗自然下降。这样的团队对人有一定的要求,敏捷是个很好的方法论,但是必须由人来执行。

去年我们团队开始尝试向这样的精英团队转型,QA和前端开发逐渐脱离项目,逐渐转型为负责公共组建的开发,专业培训和咨询。比如前端工程师负责开发每个项目都需要使用的前端框架,QA负责开发增加自动化测试速度的工具并对我们的测试用例进行Review和指导。

这样的团队很好但打造难,因为对人要求很高,招人和引导非常重要。

其他的分享

妥协等于尊重,因为别人说的东西里有值得学习的地方。有好的想法并且能从中盈利才算创新。

文章转自 并发编程网-ifeve.com

时间: 2024-09-20 05:35:58

Qcon2012杭州站参会分享的相关文章

Gdevops杭州站:阿里云与淘宝技术大牛的深度分享

当Development遇上Operations,将会产生怎样的火花?为了应对IT环境中普遍面临的一些挑战,Gdevops理念应运而生,它变成了部门间沟通协作的流程和方法,将原本笨重的开发与运营之间的工作移交过程变得流畅无碍--这也是全球敏捷运维峰会(Gdevops)全国4站活动的初衷. 2016年4月16日,浙江国际大酒店,DBA+社群联手,开启全球敏捷运维峰会第一站:杭州站.以"架构.敏捷.运维"为主题,力邀互联网与传统企业的资深专家,各路DBA大咖齐聚,汇聚500+行业精英,开启

运维侠客行杭州站沙龙回顾 | 云时代下的运维管理实践(附干货下载)

我们处在一个巨变的时代,在云计算.大数据和物联网等新技术.新理念不断更新的大背景下,企业同时面临着数字化和"互联网+"转型的双重挑战,企业对于"稳态IT"和"敏态IT"都提出了强烈的需求,如何推进双态环境下的技术演进变成全行业共同面临的难题. 在这样一个"时空交错"中,优云软件推出了一个名为:"运维侠客行"的线下沙龙品牌,杭州作为首站,活动当天汇聚了来自不同行业和企业的运维从业人员,其中有几十年的运维老兵,

搜狗联盟首届站长交流会杭州站6月28日圆满结束

6月28日,搜狗联盟2013站长交流会杭州站圆满结束.搜狗联盟发展部总监雷瑜.搜狗http://www.aliyun.com/zixun/aggregation/34981.html">精准广告研发部总监李刚出席了大会,会议以"盟聚六载 迎凤来栖"为主题向外界传达了搜狗联盟理念.下半年产品动向及站长最关心的会员分成相关讯息. 此次大会吸引了数百位站长线上报名,搜狗联盟合作伙伴4CN CEO徐俊.易传媒副总裁王帅民.好贷网CEO李明顺.银橙信息副总裁许敏.大豆网创始人陈沛

精彩延续泛微移动协同办公体验会杭州站启动!

移动互联已来,未来办公该何去何从?如果说移动化是不可避免的趋势,企业该如何应对?在移动互联环境下,客户将如何改变?业务将如何改变?组织将如何改变?管理又将如何应对?IT该如何部署?如果这些正是你思索或者困扰的课题,如果您恰巧在杭州或其周边地区,那么,10月30号的这场盛会您不容错过! 刚刚在深圳结束了分享,泛微的专家们和会务组成员已经连夜赶往杭州,他们将在移动协同办公体验会杭州站,再现上海.深圳两站的精彩!而之所以它不容错过,我们可以回顾下上海.深圳站的实况: 500人规模:这样规模的会议在整个

电商时代-中国外贸10年(杭州站)

为配合中国商务部提出的外贸"十年倍增"计划,四海商舟将携手全国知名高校.Google.Paypal.Trustwave等跨国集团,在全国重点地区举行"电商时代-中国外贸10年"企业领 袖高峰论坛,并结合企业现状开展"电商时代-企业外贸十年规划"系列活动,与各界人士共同见证中国外贸十年发展,展望未来十年的蓬勃机遇! 一.大会概况 2010年9月27日,"电商时代-中国外贸10年"企业领袖高峰论坛在杭州隆重揭幕!本次会议从围绕中国

戴仁光:武林大会杭州站得到的淘宝客经验

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 28号参加了武林大会的杭州站,虽然其他城市都没有去,而是在最后杭州举行时参加了,但是依然觉得这次的交流聚会很给力,学习到了比较多的东西,尤其是见到了很多店铺的淘宝客负责人,经理,老总.发现我博客的读者中卖家的比例也是那么高,所以这次的博客更新特地分为经历篇,淘宝客篇和卖家篇,其中淘宝客篇会先发布. 说到淘宝客,也见到了不少淘宝客达人,比如超站

中国中小微企业网络营销发展论坛(杭州站)

商报讯 (记者 方君 摄影 詹逾) 8月19日上午8点多,杭州天元大厦天元厅门口就挤满了人.签到.领学员牌.入场,四百多位浙江中小微企业家前来参加本报十周年的回馈活动2012中国中小微企业网络营销发展论坛(杭州站). 本论坛由每日商报.18创富网.中国电子商务协会网络营销推广中心和单仁资讯集团联合主办,论坛邀请著名网络营销专家.中国电子商务协会网络营销推广中心副主任轩鹏来杭为中小微企业讲授最新网络营销,成功赚钱秘诀. 尽管室内空调充足,但轩鹏因为讲得激情投入而大汗淋漓,企业家则积极响应,整个论坛

全球搜索引擎营销大会杭州站PPT下载

摘要: 感谢大家对赢时代活动的关注,8月13日全球搜索引擎营销大会杭州站的ppt现在开始对外开放下载,请需要的朋友到赢时代活动页面http://www.timev.com/event/index.html点击下载. 文件名:2010 感谢大家对赢时代活动的关注,8月13日全球搜索引擎营销大会杭州站的ppt现在开始对外开放下载,请需要的朋友到赢时代活动页面http://www.timev.com/event/index.html点击下载. 文件名:201008hangzhouppt.rarPPT概

#运维侠客行·杭州站# 如何实现高容量大并发数据库服务

运维侠客行杭州站·讲师 宏翊,袋鼠云首席架构师,袋鼠学院数据库讲师. 在2017运维侠客行·杭州站上,主办方优云软件特意邀请了来自袋鼠云的首席数据库架构师宏翊给大家带来了如何实现高容量大并发数据库服务.为什么数据库需要做分布式架构设计?在对数据库进行拆分设计和实施时,会遇到哪些坑?又该如何避免踩坑?一起来了解下吧. ▍摘要 数据库拆分要根据业务现状.模式,选择合适的拆分方式,紧密结合业务及应用架构设计,谨慎拆分,防止过度设计. ▍正文 一 为什么要做分布式数据库架构改造? 云计算大数据时代,传统