2017年北京站沙龙归来(r11笔记第100天)

  转眼间,2017已经爬上了眉梢,在有序计划中,DBAplus社群北京站沙龙拉开了序幕。

沙龙的初衷之我见

    沙龙活动不光是聚聚人气,我用三句通俗的话来解释。第一句是:技术越来越值钱,但是钱不值钱。这句话不一定对,但是能够说明一些道理,我们可以让技术在交流中更加深入,互相学习成长,另外一句是:很多时候最大的问题是我们不知道问题在哪儿。不要想着埋头苦想能够解决一切事情,多听听多问问,其实花不了太多时间。第三句话是:社群中不需要顾问,我们需要真正做事情的人。因为兴趣和共同的爱好走在一起,本来已经不容易,我们需要实实在在做点事情的人。   

从社群组织者的角度来看待

  我是全程参与北京站所有的沙龙活动的,如果让我来先从组织者的角度来说说感受,我会从场地,会场布置,直播,报名工作几个角度来说。因为对我来说,我感到目前为止,整个沙龙工作越来越专业化,逐渐抛开了更多的个人色彩和力量,而是一个社群整体的形象和贡献。  

   这话怎么圆呢,因为场地是社群的策划小编在张罗,我们开始有两处可供选择,一处本来在青年路的大悦城附近,另外一个处就是今天的场地(在望京南),最后看起来望京的这个场地氛围更活泼亮丽一些,没错,就是这里。

   会场布置是有无界空间这个公司来负责的,总体来说,我们几乎没有花什么精力去做,直播工作是由IT大咖说这边来负责,一下子少了很多负担,要是以前,我得提前找好一个空闲手机,找一个朋友来全程录制,还要考虑话筒的电池等琐碎的事情,光是开场前的布置和调试就会花去个把小时的时间。沙龙的报名推送是社群统一来做,从入座率来看和预期是基本一致的,有几位朋友还给我打来电话发来短信告知无法到来,我觉得大家还是很认真对待的,感觉还是挺欣慰的。

   当然每个这个时候我就想起了前几次沙龙中那些默默支持和帮助我们的小伙伴们,是你们让我们曾经走过的荆棘之路充满了希望。

沙龙回顾

   首先就是会场的布置,有了合作伙伴和更多朋友的支持,我们只需要更多关注于沙龙的质量。在此重点感谢谢云辉,杨光的帮助。

   真实的会场是这样的。我们先做简单的调试,等待沙龙正式开始。

    没过一会,大家都争相赶到了。看着空位子越来越少,我悬着的心终于放下了。这是沙龙过程中拍的一张。

      首先是我做的一个简单的开场,社群介绍。其它内容就不多提了。我给出一个数据即可。这些主要是我们去年的一些成绩,数据绝对经得起推敲。

    然后沙龙的三位讲师带着大家开始技术之旅。

第一个分享:数据库审核平台

    第一位上场的是韩锋老师,他分享的是宜信数据库审核平台的实践经验。我和韩锋老师算是自然熟,总有种很亲切的感觉。数据库审核平台可以快速发现问题、快速定位问题,大幅提升DBA工作效率。里面有几个地方比较有意思,一个就是这个平台的使用是不建议横向比较的,颇有心理学的考虑。比如这个部门的数据库打分比较低,审核平台打分40分,而另一个的部门却得了70分,横向去比较,就很容易陷入心理陷阱,需要自我调整,比如这次得了30分,下次得了45分,那就是质量的改进。而且审核平台的推进是一个和开发同学不断沟通的结果,而不是闭门造车。

   听了韩老师的分享,我脑海里一直在闪现一个想法,那就是“复杂的事情简单做,简单的事情重复做,重复的事情用心做”,我觉得韩老师他们做到了。

   

第二个分享:Oracle XTTS迁移

   
第二个主题是新炬杨光老师分享的关于XTTS的迁移,这个主题很有实战的味道,对于海量数据的迁移是一种非常不错的方案,但不是是“万金油”。XTTS的原理其实听起来比较简单,是基于TTS所做的改进,能够通过增量备份减少数据落差,达到降低维护时长的目的。里面有几点说得比较好,一个是对于增量备份的优化,通过BCT(block
change
tracking)来达到了高效的提升,第二个就是备份中的并行能够做到更多的分片,使得网络带宽和传输效率得到充分利用和提升,还有增量恢复的一个小技巧,都是实践中摸索出来的不错想法。

  
第二个分享到了提问环节,我做了简单的补充,XTTS不是最好的方案,但是确实是一个不错的迁移方案,比如Windows平台和Linux平台的迁移,如果在11g可能异构的Data
Guard就是一种很不错的方法,如果是10g数据库迁移到新的服务器,同时升级数据库为11g,那么Data
Guard切换后,导入系统表空间数据也是一种不错的方法,在12c这个还有提升。如果是大量的blob数据的情况,OGG就不是一个很好的方案,这个时候就是XTTS,所以没有最好的方案,只有最合适的方案。

   

中场休息

两个主题之后,大家有些疲惫了,我们安排了简单的休息,同时拍了一张全家福。你找到照片中的你了吗?

第三个分享:京东MySQL Docker化的实践

  
去IOE这几年在互联网公司落实得比较领先,MySQL在其中是一个主力军。京东的Docker集群数量惊人,达到了近15万规模,应该是目前最大规模的,在其中也是不断的从非核心系统逐步的演进。京东的资深数据库专家刘风采老师做了非常精彩的分享。里面有很多的细节需要注意,而且这是一个行业前瞻的实践,必然会踩到不少的坑,里面甚至会有专门的团队来定制linux内核。要想做大做好,真不是一件简单的事情。在经历了双11,618大考之后,这种方案显得更加有技术说服力。


  
对此我的一个观点,也可以算是一个忠告吧。对于有些小公司来说,就几台服务器的情况下,可能Docker不是一个好的主意,弄不好还出篓子,还不如直接上几个云服务器,RDS更加实惠,出了问题至少不用DBA直接背锅,而对于大型的企业和海量应用,这个就是一个必然的选择,从很多细节来看,他们不仅仅是用,而且还需要做到技术可控的定制。这种经验不可复制,但是弥足珍贵。我们可以一窥优秀企业的实践经验,让自己开开眼界。

   刘老师的分享引起了全场的极大兴趣,我保守估计,他至少回答了15个问题。这在很多技术大会中是无法做到的。

   

内部讨论会

    沙龙的环节结束了,但是很多同学还意犹未尽,看时间还在计划之中,我们提议部分同学参与,来一个内部讨论会。

讲师做到前面的沙发上,大家围坐在一起,可以问出更多的问题来讨论。这有没有中访谈的味道。

 
很多小伙伴围坐起来,提了不少有意思的问题。MySQL方面更多一些。从并行复制的问题到事务的监控,还听到一个比较奇怪的问题,查询某一行记录MySQL就会出问题,这类问题可以有一些思路,但是很多时候不一定能够给出一个很明确的答复,但是通过一个问题能够引申出很多不错的想法和见解,也是这个内部讨论的一个精华吧。

 
对于Oracle有一个同学碰到了DG在主库端的DDL导致备库hang住的问题,有一个隐含参数,但是不确定补丁是否可行,之类问题的分析思路其实很重要,首先和mos上的bug不是完全符合,只是相似,那么通过隐含参数调整是不大推荐的,另外这个问题在测试环境中不可复现,所以提交了SR可能也不好处理,但是可以一试。隐含参数的部分在Oracle中是一个很有意思的话题,Oracle的隐含参数非常多,开放的参数基本上只占到了10%的比例,10g到12c,开放参数从200多个增长到了400多个。

,有意思的是MySQL的参数从5.0到5.7基本也是这个数量级。

  
通过这些变化,其实想引申出一些想法,就是在internal方面,Oracle的大门正在关闭,而在MySQL方面却有非常大的潜力。我认为Oracle的一个核心思想就是聚合,共享,在12c的PDB,和RAC等就非常典型,而MySQL就截然相反,但是不能固步自封,你不能强迫自己用MySQL做各种复杂海量的统计分析,为什么不考虑用大数据的方式,而局限在关系型数据库呢。另外大家对于MySQL
internal的热情似乎不逊于几年前对于Oracle
DSI文档的狂热。这从某种角度来看,是有些相似的。无论如何都要坚持下去,提高自己的竞争力。

   

一句最给力的评价

    技术讨论会之后,时间差不多6点多了,场地提供商无界空间的朋友给了我一句简短的评价,她说: 虽然没听懂你们在讨论的技术,但是我感觉很有意思,你们很有热情,就是实实在在讨论些东西,太实在了

    我觉得这个评价太给力了,和我的预期不谋而合。

时间: 2024-10-10 00:44:54

2017年北京站沙龙归来(r11笔记第100天)的相关文章

软件技术大会归来(r11笔记第8天)

今天参加了中国软件技术大会,忙碌之余还是简单记录下自己的感悟.     首先,对于技术大会,我说说一些大家常犯的通病. 对于技术大会,如果去参加而没有一个很明确的学习目标,那么在技术分享中的收获就会少很多,很多人要么是冲着某一个专家去的,要么是冲着某一个主题方向去的,最好是带着问题去的,这能让你少走很多弯路,而且一个重要的环节是在分享后互动答疑,这种机会其实非常难得而目前却很容易被忽视. 而对于很多技术分享而言,尤其是一些大规模的会议来说,分享时间短,主题多,分会场多,这样尽管体系会很全,但是很

Data Guard实现故障自动切换(二)(r11笔记第39天)

   今天下午我的一个朋友碰到了一个Data Guard的问题,大体是主备网络出现问题,因为环境中配置了自动切换,结果备库就自动切换为了主库,这样就成了"双主",我帮忙看了下,对备库做了闪回,然后直接转换主库为备库角色,一个看似繁琐的修复工作就完成了.    在一个一主多备的环境中,的确需要一个强大的工具来支持,所以最后朋友说DG Broker真是个好东西,我回了句 用好了DG Broker,手工管理Data Guard就是小米加步枪啊.    就如同我昨天文章Data Guard故障

MySQL Online DDL(二)(r11笔记第88天)

对于Online DDL,之前简单分析了一些场景MySQL中的Online DDL(第一篇)(r11笔记第3天),其实有一个很关键的点没提到,那就是online DDL的算法,目前有三个操作选项,default,inplace,copy可选 具体可以参考  https://dev.mysql.com/doc/refman/5.6/en/innodb-online-ddl.html > select count(*) from newtest; +----------+ | count(*) |

需要了解的pssh(r11笔记第28天)

   昨天的一篇文章,关于ssh命令的几个使用小技巧(r11笔记第27天),也收到了不少朋友的反馈,其中有个朋友提议说还是用pssh吧,我想想也是.     对于pssh早有耳闻,但是一直没有尝试用过.自己体验了一番,感觉确实不错,对于我们日常碰到的批量操作都可以胜任.当然还有很多可选方式,比如pgm,fabric,puppet,ansible等,只要能实现需求,怎么玩都是套路,而且也急不得,一个学明白了学其他的就会容易很多.      关于pssh的p是什么含义,我和朋友还讨论过,到底是pyt

复杂SQL性能优化的剖析(二)(r11笔记第37天)

    昨天的一篇文章复杂SQL性能优化的剖析(一)(r11笔记第36天) 分析了一个SQL语句导致的性能问题,问题也算暂时告一段落,因为这个语句的执行频率是10分钟左右,所以优化后(大概是2秒左右,需要下周再次确认)的提升很大.    对于优化是一个持续的改进,我们碰到的问题,最终的原因可能五花八门,但是正如柯南所说,真相只有一个.我把这个问题和前几天处理的一个问题结合起来,前几天处理了一个紧急问题,也是有一个SQL语句的执行计划发生改变,这个语句的业务比较关键,触发频率是每分钟一次,如果一旦

百倍性能的PL/SQL优化案例(r11笔记第13天)

我相信你是被百倍性能的字样吸引了,不过我所想侧重的是优化的思路,这个比优化技巧更重要,而结果嘛,其实我不希望说成是百倍提升,""自黑""一下.     有一个真实想法和大家讨论一下,就是一个SQL语句如果原本运行20秒,优化到了1秒,性能提升该说是20倍还是提高了95%.当然还见过一种说法,一条SQL语句每次运行20秒,每天运行100次,优化后每次运行1秒,运行还是100次,那么性能提升是说成优化累计时间为100*20-100=1990秒? 好了,我们来看看PL/S

闪回原理测试(二)(r11笔记第23天)

    对于闪回部分,Oracle本身提供了非常多相关的特性,我个人对于闪回数据库这个特性最为喜爱,尤其是应用再Data Guard环境中,真是一大杀器.     而对于DML的闪回部分其实也相对比较容易理解,毕竟就是原操作的逆操作,之前通过logminer的方式来读取redo来间接得以印证.Oracle闪回原理-Logminer解读redo(r11笔记第17天)     但是对于DDL的闪回,这个特性真是非常强悍了.比如一个truncate操作,它的逆操作改怎么定义,就很难去界定了.当然这个里

一个SQL性能问题的优化探索(二)(r11笔记第38天)

继续前几天的一个案例一个SQL性能问题的优化探索(一)(r11笔记第33天) 如下的SQL语句存在索引字段CARD_NO,但是执行的时候却走了全表扫描,因为这是一个核心表,数据量很大,导致数据库负载很高. SQL_FULLTEXT ---------------------------------------------------------------------------------------------------- SELECT ID,CN,CARD_NO,TO_CHAR(CHAR

用Oracle的眼光来学习MySQL 5.7的sys(下)(r11笔记第25天)

昨天写了篇分析sys的文章,用Oracle的眼光来学习MySQL 5.7的sys(上)(r11笔记第24天)收到了一些朋友的反馈,还不错,今天继续努力,再整理一篇. sys还是很有借鉴意义     今天还和同事偶然聊起sys schema的事情,我觉得有几个地方要值得借鉴. 1)原本需要结合information_schema,performance_schema查询的方式,现在有了视图的方式,显示更加直观 2)sys schema的有些功能在早期版本可能无从查起,或者很难查询,现在这些因为新版