运维平台的建设思考-元数据管理(二)

之前分享过一篇元数据管理的文章 http://blog.itpub.net/23718752/viewspace-1960938/
如果服务器不多,或者人也不多,基本都是按照下面的方式来管理。
比如下面是14台服务器,会在特定的服务器(比如中控)设置一个专门的路径来存放一个文件,即服务器列表信息,然后把对应的责任人都划分出来。

当然这种方式是比较简单,也看起来确实很清晰,对于基本的管理应该是没有问题,但是一旦发生了信息的变化,这部分信息就比较容易出现遗漏,比如服务器2出现了问题,做了故障退还,那么就需要张三在服务器列表中标注为故障退还,可能后面给他新分配了一台服务器,他也可能没有记录新的服务器到这个文件里面,或者没有标注故障归还的服务器。
如果李四来帮助张三临时处理问题,那么这个时候这些信息就无从知晓,也不好跟进。或者张三把某台服务器的归属列为李四,也没有通知李四,没有问题大家都相安无事,但是一旦出现问题,这种责任归属和问题的划分就会比较松散。
那么一种改进思路就是需要有一个专员来协调负责这些元数据的管理。机器的申请,退还肯定要有流程,那么这些流程的一个触发器就是资产信息的变更,这些都需要跟随资产信息变更来在列表中得到体现。但是张三李四王五没有直接的权限来修改这些信息,可以提出申请修改,需要有一个审核的过程。

无规矩不成方圆,如果有成千上万台,那么这种集中-分布式的管理就尤为重要。
这些服务器信息终归还是需要放到一个共享的目录中,大家都可以查看。从这个演变来看就是excel和数据库中存储信息的差别了。
那么对于每个负责来说都是关注自己的那一亩三分地为主,所以需要从这个共享的文件中得到属于自己的那一部分信息来。
然后在这个基础上进行针对性的检查和问题处理,比如硬件监控,比如oracle数据库监控,MySQL监控等。
一种方式就是采用本地发送脚本的方式,这种方式有点类似JDBC的感觉,就是通过ssh能够连接到远程服务器,然后把需要发送的脚本内容一并发送过去,这种方法的有点狠明显,就是依赖性很小。而且可扩展性强。如果脚本不大不多的情况下还是优选。

还有一种是类似agent的方式,就是在每台服务器端都部署一个类似的agent,每个agent中都包含有这些相关的脚本内容。直接通过远程调用的方式就可以得到结果。
这种方式对于大批量的脚本,复杂的功能需求还是比较通用。

需要说明的是,这些共享的服务器资产信息是放在了数据库中。
从目前的元数据管理的情况来看,其实对于每个人来说,还是主要关心自己负责的服务器,就需要从共享文件中生成属于自己的服务器列表信息,而且这些服务器信息还可以随着资产信息变化而变化,不要求实时,但是要求这些变化能够体现出来。然后基于此来实现特定的业务管理需求。
后续来分享一个比较奇怪的元数据抽取的案例。

时间: 2024-10-16 13:05:47

运维平台的建设思考-元数据管理(二)的相关文章

运维平台的建设思考-元数据管理(五)

关于运维平台的建设,元数据一直是一个很重要的环节,之前在听了ITIL方面的一些讲解之后,发现其实早已经是体系之中的,想必是很多公司很多人还没有重视起来而已. 而要说运维平台和元数据,其实我也一直比较纠结,因为我不是专业的,只是在工作中越来越意识到它的重要性,很多时候不是口上说说,提提而已,而要落到实处,更不能图形式.     我们先来说说工作之中的沟通,其实我有时候也蛮偷懒的.用一个基本的沟通方式来说,能当面就不电话,能电话就不用lync,能用lync就不用邮件.这个是一个方向,实际做起来就很难

运维平台的建设思考-元数据管理

之前也写过一篇比较基本的文章,也算是自己对运维平台的一个基本思考.当然想法简单,而且缺乏实践,但是朝着这个方向迈进是没有错的.从我的观点来看,现在能够实现半自动化运维已经很了不得了.而且把这些工作能够落到实处,更是不易 . 比如举几个简单的例子. 比如对于数据库的数据文件添加这个功能来说,其实完全可以实现自动化扩容.但是是否完全可行呢,我觉得还有待斟酌.比如temp设置为自动增长,如果出现了sql语句导致的问题,结果导致temp被撑爆,听说过temp无限扩展达到TB级的问题,最后还是sql语句的

运维平台的建设思考-元数据管理(三)

继第一篇,第二篇介绍了关于元数据的一些想法,最近做了一些改进. 对于一部分的元数据抽取大体有下面的两种方式.假设数据源已经做了很大的努力,终于统一起来了.我们现在要通过ssh的方式从源端抽取出数据来. 一种方式就是直接通过ssh的方式发送对应的查询脚本,然后可以得到一个完整的列表,二次加工即可. 另外一种方式是直接在每台服务器上都部署一个类似agent的载体,每个服务器端都会独立的运行这些脚本内容,然后通过ssh的方式返回即可. 当然下面的图有一些夸张,实际上没有这么多的数据源,只是说明了这种方

运维平台的建设思考

自己最近也在琢磨如何搭建出一个完善有效的运维平台,当然这个工作不是一朝一夕就能完成,前行的道路上肯定会有各种各样的困难和牵绊,但是自己还是能够学以致用,把一些重复性,繁琐性的工作都能解放出来,能够更加关注于更高的一个层级来看待整个系统. 我把搭建运维平台的过程分成了5个阶段,当然纯粹是个人之见,难免有不足和改进之处,欢迎交流. 第一个阶段,不同的人积累了一些的经验,可能会有针对一些功能的实现,比如脚本,工具集等等,这个时候,每个人的习惯和水平不同,没有统一的标准,但是都能够基本解决手头的问题.

优云运维专家浅谈运维平台选型,提速DevOps运维

现如今DevOps已经深入人心,在这个大量数据中心建设加速的时代,运维部门都在高度强调自动化,而自动化的关键即DevOps.但是,大家在推进DevOps的过程中却发现其前途坎坷. 一种方案是建设自己的开发队伍从头开始,做CMDB.做监控.做自动化.做流程.做服务目录.做大屏展现,这种造轮子方法需要强大持续的研发投入,成本极高: 第二种方案则是寻找开源产品改造,以适合自己,如CMDBBuild.Zabbix.JBPM等,但是开源社区的产品,技术风格迥异,成熟度低,技术团队的素质要求高.踩的坑很多,

浅谈运维平台选型,提速DevOps运维

作者简介:蒋君伟,广通软件研发中心产品部总监,IT网管与运维领域的十年老兵,负责国内多个全国性的网络管理与运维管理系统产品研发,拥有丰富的网络管理.系统运维与产品研发经验.现从事广通新一代数据中心运维产品研发工作,主要负责产品线规划.核心技术研发.研发团队建设与运维咨询等工作.此外,个人还热衷于开源社区的技术推广与研究,喜欢Emacs.Lisp与Python,实现过开源.Net SNMP协议栈,目前主要研究去中心化的大规模软件集群技术. 现如今DevOps已经深入人心,在这个大量数据中心建设加速

新华三U-Center智能运维平台问世

新IT转型趋势下,为支撑业务敏捷.稳定.创新发展,IT运维的重要性已日益凸显.IT运维业务定位也从传统支撑中心.服务中心逐步向价值中心转变.伴随着IT运维管理目标.管理范围.管理对象,管理深度的转变,IT运维平台建设呈现管理一体化.运维自动化.运维智能化.业务可视化及端到端敏捷化的关键趋势转变. 顺应这一趋势,在4月8日举办的在"新IT 新经济--H3CNAVIGATE 2017"领航者峰会上,新华三发布了全新的智能运维平台U-Center.H3C U-Center是以面向业务服务为目

阿里智能运维平台如何助力研发应对双11挑战

12月13-14日,由与阿里巴巴技术协会共同主办的<2017阿里巴巴双11技术十二讲>顺利结束,集中为大家分享了2017双11背后的黑科技.本文是<阿里智能运维平台如何助力研发应对双11挑战>演讲整理,在回顾了阿里巴巴运维历程后,为我们讲解了阿里基础运维平台和应用运维平台,并介绍了阿里相关运维产品及阿里在智能运维平台上的发展成果.内容如下. 分享嘉宾:   如柏(毛茂德),阿里巴巴高级技术专家,Apache顶级项目CXF初创成员之一,阿里集团基础架构事业群运维中台负责人,亲历者.

面向业务的企业元数据管理

本文讲的是面向业务的企业元数据管理,最近Gartner在研究报告里明确指出,"元数据管理将是未来企业信息化的核心基础设施".确实,在大数据环境中,如果企业不通过元数据管理把多种复杂的信息管理起来,很难做到信息的有效利用.但是,很多企业逐渐发现元数据管理直接给企业业务创新带来的价值非常有限.目前的元数据管理现状是什么?如何充分释放元数据管理的业务价值?有哪些实践经验可以借鉴? 目录:一.现状分析:孤独的企业元数据管理二.解决方案:面向业务释放元数据价值三.技术实践:普元的企业元数据管理实