【感想】DTCC大会有感

 好久没有沉淀文章了,感谢ITPUB 论坛赠送门票,4.15-4.18  去北京参加了DTCC 大会,没有能够全部参加所有的场次,选择了其中自己感兴趣的场次,主要是偏运维 和MySQL ,Oracle,云计算数据库相关的,说一下自己的一些感想和思考,有所不足 ,还请各位指正 。
先说总体感想

    1 几个互联网公司涉及到水平拆分处理的时候 几乎全部采用了基于mysql proxy 开发 、类似于cobar 的中间件,同时也决定了 运维的自动化处理 比如扩容时的添加机器的方式 ,但是对于缩容 估计会很费力,数据要重构。

   2  DBA 自主研发能力 ,比如赶集网 ,京东,携程 在MySQL 内核和 系统工具都已经自研来满足他们的需求。
   3 业务场景驱动技术,江疑讲述AliSQL新特性之后的提问和携程讲述MySQL并发复制的提问状况明显不一样,大家对携程的并行复制特别感兴趣,但是对于AliSQL 的thread pool 或者热点补丁,并发控制机制,sql限流 不太感冒,大概是他们没有阿里的业务压力,没有这些特性的需求。

赶集网
     在没有专职开发的情况下,3个dba开发出一套变更自助发布系统,虽然功能远没有idb强大,缺少可持续的元数据管理 ,设计限制严格,只有ddl ,dml的支持,但是系统可以减轻dba的重复流程。
    其团队对慢日志的设计思路 值得思考,我们是通过myawr获取机器上的慢日志,赶集网则是通过 pt-query-digst 工具+ kafka 工具构建实时的慢日志分析系统,通过页面展示给开发看,还可以衍生出其他的服务 ,比如开发者订阅慢查询等等。

京东 MariaDB
     张金鹏主要介绍了MariaDB的特性,除了虚拟列等特性之外,其他的功能我们都有涉及,这里不多做赘述。
     会后和京东的dba 做了沟通,了解到他们公司有三种版本的MySQL ,官方的,percona ,MariaDB ,版本有点多。目前他们做的基于docker技术的 京东云 (私有云,公有云 类似聚石塔) ,已经开发完毕,进入测试阶段,并准备为内部提供使用。在资源弹性管理上 和我们的想法类似,但是从发展的历程上看,我们的机器规模在他们 现在的量级别上 还没有做到资源的管控上。

    中间件---jproxy 
       类似于cobar ,和腾讯的也类似,集中式的中间件架构。不支持动态调整读写比例,遇到负载均衡需求的时候,需要搭建新的proxy路由,并重启应用,对业务有一定的影响。
   HA机制 
       基于MHA 的架构在机房部署agent 来管理各个节点,同时基于jproxy 做元数据库管理。
   变更操作
       对于分布式的数据库ddl ,dml变更 通过脚本来做,没有类似于idb的统一工具来处理,相对较为人肉。

运营商去O浅析
    去IOE 这件事情,很多人都有不同的解读,部分认同王晓征的观点,他们去O 的动力:政策驱动 ,成本驱动,这点和我们的不一样。 整体上运营商没有自建IT 研发队伍,使用外包模式也注定在技术掌控力上存在不足,去O 的人力 技术成本增加。

青云的rds 架构
    演讲者时间超时,有一部分没有详细讲述,听下来有如下认知 

   1 基于user的分配 ,从介绍的角度是基于虚拟机分配实例的,客户具有数据库的所有的权限,这点 比我们的rds要适用些。 
   2 备份分为 数据库级别的备份和虚拟机级别的备份,和rds 一样能够恢复到任意时间点。
   3 从演讲者提供的ppt上来看,ha机制是基于vip 的,不能做跨机房的容灾切换 。
   4 青云的rds是基于原生的MySQL ,不像阿里云的RDS,有基于用户需求和针对bug做改进,相比此点 我们的技术更胜一筹。 

携程 
   通过更改MySQL 的千行代码来使用并行复制解决zabbix 数据库写入延迟,修改slow log的记录方式,增加锁等待解决他们自己对slow log的需求。
58 同城
    沈剑从 数据库的可用性、读性能、一致性、可扩展性介绍了58同城的数据库架构。通过设计冗余来达到可用性。对于他们的读性能 的处理方式还是有些意外的,采用主库不建立索引 ,备库创建索引的方式 ,主备发生切换之后,新的备库索引不全会怎样?
    关于可扩展性处理,采用1主2备,需要拓展的时候,将备库提升独立一套主库,可以方便的升级到2N。升级之后,需要对数据库中的表进行删除。
    沈剑花了很长时间讲述 分页查询在他们的中间件条件下的优化 可以借鉴其思路,不过对于ppt的分页最后一页 我没有听的太清楚,中间件的功能限制导致dba和开发花费了大量精力去做分页查询,有点意外 。 从目前的优化经历,个人感觉 延迟关联能够解决绝大多数的场景需求。

总结
    后 IOE 时代到来了 ,数据库大会不再Oracle 风光无限,更多的偏向于MySQL /NoSQL ,PG  ,大数据处理等,阿里的去IOE 还是引领了 中国数据库变革 。这也是 瑞哥(HelloDBA )一直倡导的理念。从一线DBA的角度来看,每个公司运维技术的轨迹都是从人肉,工具脚本,平台自主化运维 ,从而给DBA,一线运维者增加幸福感。
    每个公司的场景和规模不同,导致对技术的需求和认知的不同 ,阿里的双十一的场景驱动的秒杀 ,AliSQL 热点补丁,并行复制,并发控制,sql级别的限流措施,希望有一天这些功能能够适用到其他互联网公司。

时间: 2024-12-20 23:32:53

【感想】DTCC大会有感的相关文章

参加2012 DTCC大会,总结Big data的趋势

参加了2012中国数据库技术大会,综合各方的演讲.资料和个人理解,总结出Big data(大数据)的趋势. 本次技术大会议题众多,但无论是企业级应用还是互联网应用,关注的焦点无一不是"大数据". 传统的IBM.Oracle关注企业级大数据的统一解决方案,并已经提供了商业的产品:互联网的百度.淘宝.腾讯等都基于自己的业务和互联网的特点,构建了自己的大数据系统.一些研究机构或者学术机构,也已经被这个由互联网刮起的"大数据"旋风吸引,开始投入更多的精力进行相关理论上的研究

数据技术来袭,带你玩转DTCC大会

文章讲的是数据技术来袭,带你玩转DTCC大会,以"数据定义未来"为主题的2016中国数据库技术大会于5月14日在北京国际会议中心顺利闭幕.在为期三天的大会期间,国内顶尖的数据库架构师.DBA.数据库开发工程师为广大听众带来了一场关于数据库技术的饕餮大餐. 12日早上,北京下着蒙蒙细雨,笔者8点就来到了国际会议中心,第一次参加大会的笔者被大会签到处的场景搞懵了,明明距离大会开始还有一个小时,签到处就已经人山人海了. 在签到处拿到证件后,笔者就上了二楼展台区.哇塞,二楼展区简直就是个新世界

与世界同行 2017中国人工智能大会有感

中国人工智能大会(CCAI),由中国人工智能学会发起,目前已成功举办两届,是中国国内级别最高.规模最大的人工智能大会.之前在北京举办过两届,第三届由阿里巴巴集团&蚂蚁金服主办,去做报告的都是中国人工智能大会的大咖:香港科技大学计算机主任杨强,以前是华为诺亚方舟实验室的首届主任:蚂蚁金服副总裁.首席数据科学家漆远,以前是普度大学的终身教授,还有中国科学院.工程院的院士以及一些国外的牛人,来头不小. 有意思的是,就在大会举办前两天,国家刚发布了新一代人工智能的发展规划通知,把人工智能拉升到了国家战略

云计算大会有感—MapReduce和UDF

(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.参会有感       首先还是非常感谢CSDN能给我票,让我有机会参加这次中国云计算峰会.感觉不写点什么对不起CSDN送我的门票(看到网上卖一千多一张呢).         还是得从国家会议中心说起,两年前lz曾经在那当过IDF的志愿者,当时是纯体力劳动,负责给参会人员发一些杂志什么的,当时苦逼的为了多蹭一个盒饭躲到柜子后面直到开饭.真没想到两年后可以以来宾的身份参加国家会议中心的大会(虽然午餐还是苦逼的

DTCC大会归来(r12笔记第61天)

  今天参加了DTCC(中国数据库技术大会)回来,还是蛮有收获的.当然对我来说参加技术型大会的一大好处就是很多原本在网络认识的人,会看到"真身",彼此打个招呼,也算是做了键值对映射.   不过今天比较倒霉的一点是,原本国际会议中心我都是轻车熟路了,结果绿化太好了,我下了地铁一下子没方向了.    景色是美,但是把我的视线全挡住了,分不清方向了之后,原本10分钟的路,我走了大概30分钟才找到.   我最早参加DTCC还是在2015年,记得小鱼给我发出邀约后,我们确定了主题方向(当时是数据

DTCC:数据库安全重点在数据拷贝过程中

本文讲的是DTCC:数据库安全重点在数据拷贝过程中,2017年5月11日-13日,2017中国数据库技术大会于北京国际会议中心盛大开幕.作为国内最受关注的数据库技术大会,本届大会以"数据驱动·价值发现"为主题,汇集多个领域的百余位专家,与大家共同打造一场以数据为驱动力,为企业进行价值创造的技术盛会. ▲上海上讯信息数据安全部门研发负责人李玉亮先生         在本次盛会上IT168记者采访了上海上讯信息数据安全部门研发负责人李玉亮先生.以下是采访实录(合理删减): IT168记者:

高颖睿:DTCC 2016引领数据发展新航标

文章讲的是高颖睿:DTCC 2016引领数据发展新航标,2016年5月12日-14日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心正式拉开帷幕.作为国内数据库与大数据领域最大规模的技术盛宴,DTCC已经同大家携手走过七载春秋.本届是大会创办以来,规模最大,参会人次,参展合作伙伴最多的一次盛会,云集了来自五湖四海的5000余名IT精英,相聚在这里,共话数据库技术发展潮流,共赴大数据浪潮之巅.盛会首日,盛拓传媒CEO高颖睿出席大会致开幕辞. ▲盛拓传媒CEO高颖睿 数据定义未来,

DTCC归来,为何云计算厂商都在搞数据库

文章讲的是DTCC归来,为何云计算厂商都在搞数据库,第八届中国数据库技术大会(DTCC 2017)上周末在北京国际会议中心完美闭幕,也许还有很多朋友意犹未尽,没关系,明年依旧可以再聚. 言归正传,会议的3天,老鱼收到不少新老朋友的反馈,大会人真多.是的,从2010年第一届大会的不到500人,到2017年第八届的5000人.8年间,DTCC大会规模扩大了10倍.就连数据库巨头甲骨文都为之感叹. ▲DTCC大会大会现场 去年,甲骨文全球副总裁吴承杨在大会演讲中就感概到:"数据库其实是一个很窄的领域,

盛邦安全权小文:RSAC2017给我们带来的那些感想与启示

[51CTO.com原创稿件]上周,RSAC2017大会在美国旧金山莫斯康展览中心成功举行.因未能去到大会现场,记者远程采访了盛邦安全CEO权小文,谈论了他对此次展会上技术产品和国外安全产业的一些看法,以及对国内企业发展的启示. 盛邦安全CEO权小文 这家用关二爷当LOGO的公司--盛邦安全,是第三次参展RSA大会.说起今年大会的主题"POWER OF OPPORTUNITY",权小文认为:"主题直译就是'机会的力量',但是我们知道机会是没有力量的,或者说机会从何而来呢?机会