线上操作零差错,优秀的DBA就该这么做!

根据莫非定律:「凡是可能出错的事必定会出错,任何一个事件,只要具有大于零的机率,就不能够确定它不会发生。」这句看似箴言的话,想必每个运维从业人员感触非常深刻。本文从 DBA 线上操作的角度,谈谈自己的看法。

工作日,DBA 会处理大批工单;非工作日,DBA 在时刻准备着救急。亦即,DBA 每时每刻都有线上操作的需要。那么问题来了,个人的状态是不定的,包括心理状态、身体状态。时刻保证临危不乱,这是 DBA 重要的素质之一。线上故障,分秒必争,不及时的处理、不善的操作都很有可能给公司带来不同程度的损失。线上操作需要求稳,本文给出笔者的点滴思考。

 

第一,处理工单、凌晨维护、处理紧急故障之前,梳理流程,准备必要的资料。一个优秀的 DBA,不是求速度,不是求效率,而是求稳。出错的概率低,你给别人的感觉就会比较靠谱。有经验的 DBA,线上操作就是复制粘贴,宁愿相信 0 和 1,也不愿相信自己和别人。每次处理工单、凌晨维护,笔者都会养成一个习惯,梳理流程,准备线上服务器 IP 列表、需要的脚本、有可能使用到的命令、相关的文档等等。这样的好处是,心里有谱,不至于慌乱。即使遇到突发状况,也会相对从容。当然,紧急故障没有这么多时间给你准备,但至少也要准备常用的命令。这里有个小建议,使用 Evernote 保存常用的命令,当然,涉及公司敏感信息的,不能留。临场发挥,尽可能地避免手动输入,因为高度紧张的状态下,输入错误的概率比日常要高。于 DBA 而言,输入错误,带来的灾难将是毁灭性的。已经有很多类似的案例,在此不做展开。

 

第二,处理故障之前分析最重要。通常某个故障是不是单点的,是一个面,是一个链条。线上故障,直接受影响的就是用户,究其原因,用户层、接入层、逻辑层和数据层每一层都有可能有问题。处理故障之前,不是无谓的试错,一次不行,下次依然如故的概率相当高,然后时间就这样不知不觉地浪费了。此时应该冷静下来,思维不能单独盯在数据层,从整个技术链条考虑,这样获得的信息才是最全方位的。那么问题来了,互联网行业工作细分,DBA 很大可能没有操作数据层之外的权限,怎样做到信息相对完善,接下来就是下一个话题。

 

第三,学会沟通,尽可能地达到信息对称。第二点提到,DBA 更多关注的是数据层,达到整个技术链条信息的流通是相当重要的。这一点其实不是技术问题,而是一个人的软实力。我们都知道,提好问题比答案本身更重要。DBA 在处理故障时,跟监控、研发、测试、产品、运维等都有可能打交道。监控会反馈受影响的范围、延时情况等等,这属于用户层;研发、测试、产品会反馈业务故障、程序日志等,这属于用户层和逻辑层;运维会反馈网络情况、流量状况、Web 服务器异常等等,这属于接入层。最后 DBA 会关注数据层,包括持久层和缓存层,然后结合不同链条的信息,综合分析,再进行相应的操作。线上操作,我们不能容忍低效甚至无效的沟通。

 

第四,任何操作三思而后行。DBA 应该把「备份重于一切」铭记于心,修改任何配置文件之前先备份,慎用甚至不用 rm。对于有 DROP 和 TRUNCATE 的工单,再三审核和确认,避免无效操作。如果确实存在此类需求,应该首先确认是否有备份,备份是否可用。DBA 应该对高危操作有明确的认识,除此之外,所有的恢复操作也需要了记于心,防患于未然。

 

第五,事后 Review、反思、总结,形成知识库。故障是不可控的,可能是人为,可能是程序有 Bug,可能是网络故障,总之发生故障的原因千奇百怪。但故障事后的 Review、反思和总结我们可以控制。针对某个特定的故障,反思处理的流程是否有优化的地方,反思基础设施是否还有不完善的地方,反思团队出现的问题,反思和其他部门的合作是否有问题等等,然后形成会议记录、故障报告、故障总结,形成知识库,定期再次 Review,避免下次出现类似的问题。再者,还可以给新入职的员工参考,从真实案例中学习,这样进步会更快。

 

做好一个优秀的 DBA,技术是一方面,更重要的是个人素质。比如,你需要有良好的习惯、需要有优秀的心理素质、需要有责任心和道德、需要有良好的沟通能力……这些软实力是基石,在此基础上,拓展技术的广度和深度,这样才会有更良好的发展。

 

借此文章,唠嗑下最近的想法。笔者经常反思为什么会这样坚持更新博客,最近有了比较理想的答案。第一是督促自己思考,第二是为别人提供价值。先说第一点,坚持更新博客,就是在提醒自己不断思考,这样就会比别人获得更多技术之外的能力。然而,这些能力,是在枯燥的工作之作学不来的。世间的道理都很简单,大家也懂,然而真正去行动并且持之以恒的少之又少。你看了一千篇文章,读了一百本书,不去行动都是枉然。然后说说第二点,博客很重要的一点就是给读者提供价值。读者觉得你的文章能给他带来启发,这就是正向输出;读者评论你的文章、和你发邮件交流、加微信和你聊天,这就是正向反馈。你给读者提供了价值,说不定读者哪天就会给你带来意想不到的惊喜。一个长期保持高质量更新的博客,于己于他,个人认为都是瑰宝。即使现在没有兑现,将来的某个时刻会。

 

回到这篇文章本身,笔者时刻都在强调软实力。软实力靠的是长期的积累,需要自控力不断提高。归根结底,任何管理本质上都是对自我的管理。

 

经作者同意授权转载

来源:DBTalk By 温国兵

作者:温国兵(酷狗音乐DBA)

时间: 2024-10-17 03:04:57

线上操作零差错,优秀的DBA就该这么做!的相关文章

DBA线上操作要知道的那些事

根据莫非定律1:「凡是可能出错的事必定会出错,任何一个事件,只要具有大于零的机率,就不能够确定它不会发生.」这句看似箴言的话,想必每个运维从业人员感触非常深刻.本文从 DBA 线上操作的角度,谈谈自己的看法. 工作日,DBA 会处理大批工单;非工作日,DBA 在时刻准备着救急.亦即,DBA 每时每刻都有线上操作的需要.那么问题来了,个人的状态是不定的,包括心理状态.身体状态.时刻保证临危不乱,这是 DBA 重要的素质之一.线上故障,分秒必争,不及时的处理.不善的操作都很有可能给公司带来不同程度的

岁末警示:当你手抖删了线上数据库..

编辑手记:这是一篇写在2016年初的旧文,岁末再次与你共享,愿你的系统安然无恙.本文转载自高效运维社区. 作者简介: 一乐,aka 梁宇鹏 现任环信首席架构师兼IM技术总监,负责即时通讯云平台的整体研发和管理.曾任新浪微博通讯技术专家,负责微博通讯系统的设计与研发. 2016年1月18日,新年刚过,距离噩梦的圣诞节已经过去三周.已经好多天没有线上报警,群里一片安静,大家都在享受这份宁静与安逸.唯一不一样的是,有集群的迁移工作要做,相关人员干劲十足,已经连续三天通宵.按照惯例,为了保险起见,线上操

Fiddler使用AutoResponder进行本地文件和线上文件的映射

直入正题.. 刚刚想写篇总结,照常登上博客园添加新随笔,写了百来字发现有什么不对劲 编辑器去哪儿了...   心想重新登录应该就OK了吧,点击退出然后重新登录 按钮一直显示加载中...简直就没法登录嘛... 只好通过开发者工具查看错误,一看就是JQ库没加载出来报错了   真是奇怪了,我其他网站访问还算正常,难道是博客园抽风了?   算了算了,始终要解决问题的 就捞起尘封已久的 Fiddler,既然线上的JQ加载不出来,那就做个本地文件的映射吧,使用本地的JQ库代替线上的 为了写文章我也是拼了啊

千品网元鹏:成为商家线上销售的利器

8月2日消息,对外一向低调的千品网,在O2O领域发展实为迅速.致力于本地服务"商城"的千品网目前已有3万的在线商品数,开辟了国内线上到线下消费的新观念,将低价 无缝隙的带到消费者的生活中.对此,千品网副总 元鹏表示,千品网从开始至今一直是一个"在路上"苦练内功的心态.发展线下商家,将服务类商家更多的移动到线上,集合消费者和商家与 同一平台,做消费者吃喝玩乐的必经之处,也做商家线上销售的利器.再大量扩展在线商品数量上,元鹏表示,千品网初步被人以为是"团购&q

O2O的出路在于反向O2O 就是从线下到线上

中介交易 SEO诊断 淘宝客 云主机 技术大厅 导言:2011年,随着团购风潮的袭来,O2O"闪亮登场",并迅速串红中国.实践表明,餐饮O2O的出路在于反向O2O,所谓反向O2O就是从线下到线上. O2O的概念源于2011年的美国:O2O即Online To Offline,泛指通过有线或无线互联网提供商家的商品信息,将线下商务的机会与互联网结合在一起,聚集有效的购买群体,并在线支付相应的费用,再凭各种形式的凭据,去线下,现实世界的商品或服务供应商那里完成消费. O2O适合的领域:本地

P2P线上模式倒逼平台做大数据风控

"作为金融基础设施的个人征信体系不完善,导致风险管理难以摆脱沉重的线下路径,倒逼坚持纯线上模式的P2P(网贷)平台通过大数据做风控."在2016中国互联网金融年会上,拍拍贷总裁胡宏辉说. 目前,国内P2P平台大多走线下线上相结合的模式,其中风控环节仍延续传统金融机构的审核模式,人工在线下完成.而拍拍贷坚持纯线上模式,即所有借贷流程都在线上完成,包括风险管理环节. "近年来,不看好拍拍贷纯线上模式的言论没有断过,而现在拍拍贷解决了大数据做风控的难题,搭建了风险管控坚实的底层设施

王冬竹表示线上与线下都有优秀的品牌出现

淘鞋网董事长王冬竹 和讯科技消息 4月17日,2012年http://www.aliyun.com/zixun/aggregation/1459.html">中国鞋服行业电子商务峰会在泉州召开,本次会议的主题为:电子商务--产业升级驱动力,和讯科技对本次峰会进行全程直播报道.在题为"牛眼看电商"的圆桌讨论中,淘鞋网董事长王冬竹表示,目前行业对电商都有较大的期望,但各个行业.部门在推进过程中需要明确自己的角色与责任. 王冬竹表示,线上与线下都有优秀的品牌出现.网站与传统企

中望3D免费线上培训 一个课时解决一个月的苦恼

由于三维CAD(计算机辅助设计)软件具有形象直观.设计变更容易.设计效率高等优势,传统二维CAD设计正快速迈进三维CAD时代,全三维CAD正逐步成为设计软件的主流.因此,除现有的3D设计从业者以外,一大批的2D设计师也开始尝试着了解三维CAD学习三维CAD.但目前网络上3D设计的入门教程鱼龙混杂,互动性差,又没有该领域专业的导师指导,问题无处释放并得到合理解答:更因为一些国外软件的付费培训课程价格昂贵,内容复杂讲解过于深奥,且对于零起点入门的学员来讲并不实用.这些窘境让不少2D.3D设计从业者和

全球拍卖巨头 扩张升级线上拍卖

全球拍卖巨头苏富比日前宣布,将联手eBay合作发展网上平台,让全球用户能在线上发掘.浏览及竞投顶尖艺术品.古董及各式收藏品.这也是苏富比在自家官网之外,对线上拍卖业务的一次扩张和升级. 苏富比历史悠久,每年拍卖无数世界级艺术品及珍贵藏品,专业知识享誉全球:而eBay的技术平台与综合付款方案则精密卓越,有利吸引藏家网上竞投,并为全球1.45亿eBay活跃用户提供轻松.简便的网上购物体验.合作双方实力雄厚,为计划带来相得益彰的非凡优势. 计划率先在苏富比位于纽约的全球总部展开,多场精选拍卖会将提供全