运维平台的建设思考-元数据管理

之前也写过一篇比较基本的文章,也算是自己对运维平台的一个基本思考。当然想法简单,而且缺乏实践,但是朝着这个方向迈进是没有错的。从我的观点来看,现在能够实现半自动化运维已经很了不得了。而且把这些工作能够落到实处,更是不易 。
比如举几个简单的例子。
比如对于数据库的数据文件添加这个功能来说,其实完全可以实现自动化扩容。但是是否完全可行呢,我觉得还有待斟酌。比如temp设置为自动增长,如果出现了sql语句导致的问题,结果导致temp被撑爆,听说过temp无限扩展达到TB级的问题,最后还是sql语句的问题导致。
那么这个数据文件是否支持扩展,怎么扩展,这个应该一方面是根据系统资源进行权衡,另一方面就得根据具体的系统情况来决定了。这也就引申出我今天想说的关于元数据的管理。
顺便讲个小段子,几个同事跑过来找我,说有一个紧急操作需要DBA配合,然后想让我去和他们开个会,我就不喜欢那种没有结果的会议讨论,从DBA的角度来说,提供完整的操作步骤,正确的脚本,你们来评估业务可行性,我们来评估从安全,性能,业务上是否需要支持和改进,当然我说的也很简单,我就是个干活的,你来提供详细的步骤和参考,我来评估和执行,会我还是不参加了吧。其实话说回来,如果我们只是简单评估和执行,那么我们工作的含金量会大大降低,外企都很强调的design,DBA也是需要加强这方面的功底的。老是搬砖,时间长了就只会搬砖了。
所以这些design的工作怎么做,不是一下子高屋建瓴,我们来想想我们能够做些什么。从整个运维系统,运维平台的角度来考虑,元数据管理还是根本,但是似乎没有什么人重视。
从我的角度来讲,我认为元数据的管理,除了资产层面的资源状态管理,从运维平台来说,还是有很多值得注意的地方。
我大体列举了一部分,从我的角度来看认为还是非常有必要去考虑的。

这些元数据看起来非常琐碎,但是一旦管理起来,作用就非常巨大了。比如给你最短的时间做资源盘点,查看当前的5000台服务器中哪些服务器是在redhat的某个子版本,简单评估是否可以升级等等。这些没有元数据管理,简直不可想象。所以我把元数据的考虑划分成了下面的几个部分,当然还需要不断完善。
   系统情况,内核版本,补丁,操作系统版本。
    硬件配置:基本的硬件配置情况

        cpu cpu合数,物理CPU数

        内存 内存大小

    swap分区设置:swap分区的设置,swap的大小是否合理,如果是在有些云服务器中,默认是不开启swap的。    

    磁盘分区设置:磁盘分区的情况,盘数,raid级别等

    crontab: 自动任务的情况,是否有ntp的自动同步,是否有定时的业务调度,是否有定时的备份和系统检查。

    防火墙:防火墙开设的端口,开放的客户端

    主机名:服务器的主机名管理,尤其是在很多系统迁移中,做了大量的主从切换等情况下,有时候从主机名根本分不出来一台服务器到底是主库还是备库。

    ip配置 内网外网,网络ip的设置,/etc/hosts中的配置,比如在mysql中的主机名dns权限解析。如果主从切换之后,是否备库一定会有主库所拥有的权限。

    主备,主从关系配置:主从切换之后,是否从库或者备库一定能够胜任,备库是否已经完全做好了时刻切换的准备。根据主库是否能够找到匹配的备库,或者根据备库关联到主库。

    内核参数配置,内核参数的设置,是否初始化的时候已经合理规划还是根据感觉想到哪里做到哪里。有些内核参数设定是否是按照系统硬件资源来设定,是否考虑周全。之前就碰到过一个数据库进程数设置为150,但是资源配置非常好,但是自己申请调高process之后重启数据库的时候,发现原来的内核参数就取的默认值,所以资源好,但是软件层面的性能跑不上去。

    端口配置:对于数据库来说,开放了哪些端口,哪些端口处于闲置状态

    数据库参数 init.ora my.cnf,对于oracle,mysql而言,参数的管理也很有必要,如果一台服务器宕机,想找到之前的一些完整配置,不一定备库的就和主库一样,到底哪里不同,哪些参数可能设置不和规范,通过统一的参数管理就可以得到一些答案,比如对于oltp,olap来说,哪些参数需要考虑,10g,11g中的特性参数如何取舍,哪些需要统一。

    外部文件挂载,系统中是否有外部的挂载点,比如nfs,其它共享存储等。

    备份情况,系统的备份情况,数据的备份情况等等。

当然从数据库的层面进行更多的思考,需要做到具体的事情就更多了,我们后续再做补充。
最后说一句,圣诞快乐,其实提这个节日的人多,过节的少,该加班加班,干睡觉睡觉,生活快快乐乐,天天都是节日:)

时间: 2024-10-24 12:56:50

运维平台的建设思考-元数据管理的相关文章

运维平台的建设思考-元数据管理(五)

关于运维平台的建设,元数据一直是一个很重要的环节,之前在听了ITIL方面的一些讲解之后,发现其实早已经是体系之中的,想必是很多公司很多人还没有重视起来而已. 而要说运维平台和元数据,其实我也一直比较纠结,因为我不是专业的,只是在工作中越来越意识到它的重要性,很多时候不是口上说说,提提而已,而要落到实处,更不能图形式.     我们先来说说工作之中的沟通,其实我有时候也蛮偷懒的.用一个基本的沟通方式来说,能当面就不电话,能电话就不用lync,能用lync就不用邮件.这个是一个方向,实际做起来就很难

运维平台的建设思考-元数据管理(二)

之前分享过一篇元数据管理的文章 http://blog.itpub.net/23718752/viewspace-1960938/ 如果服务器不多,或者人也不多,基本都是按照下面的方式来管理. 比如下面是14台服务器,会在特定的服务器(比如中控)设置一个专门的路径来存放一个文件,即服务器列表信息,然后把对应的责任人都划分出来. 当然这种方式是比较简单,也看起来确实很清晰,对于基本的管理应该是没有问题,但是一旦发生了信息的变化,这部分信息就比较容易出现遗漏,比如服务器2出现了问题,做了故障退还,那

运维平台的建设思考-元数据管理(三)

继第一篇,第二篇介绍了关于元数据的一些想法,最近做了一些改进. 对于一部分的元数据抽取大体有下面的两种方式.假设数据源已经做了很大的努力,终于统一起来了.我们现在要通过ssh的方式从源端抽取出数据来. 一种方式就是直接通过ssh的方式发送对应的查询脚本,然后可以得到一个完整的列表,二次加工即可. 另外一种方式是直接在每台服务器上都部署一个类似agent的载体,每个服务器端都会独立的运行这些脚本内容,然后通过ssh的方式返回即可. 当然下面的图有一些夸张,实际上没有这么多的数据源,只是说明了这种方

运维平台的建设思考

自己最近也在琢磨如何搭建出一个完善有效的运维平台,当然这个工作不是一朝一夕就能完成,前行的道路上肯定会有各种各样的困难和牵绊,但是自己还是能够学以致用,把一些重复性,繁琐性的工作都能解放出来,能够更加关注于更高的一个层级来看待整个系统. 我把搭建运维平台的过程分成了5个阶段,当然纯粹是个人之见,难免有不足和改进之处,欢迎交流. 第一个阶段,不同的人积累了一些的经验,可能会有针对一些功能的实现,比如脚本,工具集等等,这个时候,每个人的习惯和水平不同,没有统一的标准,但是都能够基本解决手头的问题.

优云运维专家浅谈运维平台选型,提速DevOps运维

现如今DevOps已经深入人心,在这个大量数据中心建设加速的时代,运维部门都在高度强调自动化,而自动化的关键即DevOps.但是,大家在推进DevOps的过程中却发现其前途坎坷. 一种方案是建设自己的开发队伍从头开始,做CMDB.做监控.做自动化.做流程.做服务目录.做大屏展现,这种造轮子方法需要强大持续的研发投入,成本极高: 第二种方案则是寻找开源产品改造,以适合自己,如CMDBBuild.Zabbix.JBPM等,但是开源社区的产品,技术风格迥异,成熟度低,技术团队的素质要求高.踩的坑很多,

浅谈运维平台选型,提速DevOps运维

作者简介:蒋君伟,广通软件研发中心产品部总监,IT网管与运维领域的十年老兵,负责国内多个全国性的网络管理与运维管理系统产品研发,拥有丰富的网络管理.系统运维与产品研发经验.现从事广通新一代数据中心运维产品研发工作,主要负责产品线规划.核心技术研发.研发团队建设与运维咨询等工作.此外,个人还热衷于开源社区的技术推广与研究,喜欢Emacs.Lisp与Python,实现过开源.Net SNMP协议栈,目前主要研究去中心化的大规模软件集群技术. 现如今DevOps已经深入人心,在这个大量数据中心建设加速

新华三U-Center智能运维平台问世

新IT转型趋势下,为支撑业务敏捷.稳定.创新发展,IT运维的重要性已日益凸显.IT运维业务定位也从传统支撑中心.服务中心逐步向价值中心转变.伴随着IT运维管理目标.管理范围.管理对象,管理深度的转变,IT运维平台建设呈现管理一体化.运维自动化.运维智能化.业务可视化及端到端敏捷化的关键趋势转变. 顺应这一趋势,在4月8日举办的在"新IT 新经济--H3CNAVIGATE 2017"领航者峰会上,新华三发布了全新的智能运维平台U-Center.H3C U-Center是以面向业务服务为目

阿里智能运维平台如何助力研发应对双11挑战

12月13-14日,由与阿里巴巴技术协会共同主办的<2017阿里巴巴双11技术十二讲>顺利结束,集中为大家分享了2017双11背后的黑科技.本文是<阿里智能运维平台如何助力研发应对双11挑战>演讲整理,在回顾了阿里巴巴运维历程后,为我们讲解了阿里基础运维平台和应用运维平台,并介绍了阿里相关运维产品及阿里在智能运维平台上的发展成果.内容如下. 分享嘉宾:   如柏(毛茂德),阿里巴巴高级技术专家,Apache顶级项目CXF初创成员之一,阿里集团基础架构事业群运维中台负责人,亲历者.

运营商掀起WiFi建设狂潮

■本报记者 钟顺钦 5月10日,中国电信宣布启动"无线中国"战略,计划到2012年在全国布置100万个WiFi热点.中国移动同样放出豪言,计划三年内将全国范围内的WiFi热点数量增加至100万个.继去年启动20万WLAN设备招标,中国联通近日启动了新一轮WLAN设备招标工作.三大运营商加快WiFi热点建设和WiFi设备生产的背后,折射出中国运营商速度厮杀的惨烈性, 流量经营也已经成为国内运营商3G业务发展的共识. 运营商掀起WiFi建设狂潮 当下是个速度比拼的时代.随着3G智能手机的普