(案例篇)日志易:IT运维分析及海量日志搜索的实践之路(下)

本文为日志易创始人兼CEO陈军,在2016年GOPS全球运维大会.深圳站的演讲实录,主要讲述日志易产品在金融机构、运营商、电网的应用案例。

客户案例

案例一:某大型综合金融机构

这是一个大型的综合金融机构,总部就在深圳,也是中国最大的。
他们之前需要逐台去登录服务器:没有办法集中查看日志;没有办法对海量日志进行挖掘和用户行为分析; 而且没有办法做多维度的查询,比如时间段、关键词、字段值;而且没有办法进行日志的业务逻辑分析和告警。

使用日志易产品后:建起日志云,在内部建立了一个私有云来处理日志,已经接入了一百多个应用,每天新增的日志量是8TB。做了这个之后的好处是省去了登录服务器的操作,就能够快速地查看,降低登录服务器的人为误操作的概率。对金融系统来说,这些生产线上的服务器是非常关键的。如果每个运维工程师都登录到生产线上的服务器去查看日志,一不小心,一个误操作,可能就影响了生产线上的应用,就导致一次事故。上了日志易之后,就禁止运维工程师登录服务器去看日志,所有看日志就在它内部的日志易云上来看,解决了需要日志统一管理的痛点。而且可以进行多维度的查询,提高定位异常原因的效率,可以对日志数据进行数据挖掘、用户行为分析,可以对系统的健康指数每天出报表。
现在很多用户用日志易主要的一个功能是每天出报表给老板看,因为之前是用Hadoop,Hadoop是第二天出昨天的报表,用了日志易之后是当天6点钟的时候就可以出报表,让老板下班前看到当天的情况。而且可以是事先告警,只要一出错,就马上告警,而不是事后去追查这个问题。

案例二:中移动某省分公司

用来分析营业厅业务办理的Web的日志,这里就用了SPL搜索处理语言,营业厅里面一笔交易是经过多个子系统的,每一个子系统都会产生日志。用了之后,就把一笔交易的每一笔子系统产生的日志给串起来,串起来之后还原成一笔交易,分析一笔交易的延时情况、响应情况。

这就是在搜索框里写的,这还是比较短的,它搜索的字段就是“json.url”,通过管道符把前面搜索的结果传给后面的事务命令。因为不同子系统的日志都传给命令了,这个命令执行的操作是找ID,因为每一笔操作都是有一个独立ID的,根据这个ID把这一笔交易在不同子系统上产生的日志都串起来。串起来之后排一个顺序,是以查询作为起点,传入参数,事务命令的参数有stamp,还有ends,一笔事务是从查询开始的,以提交作为结束。但是如果一直不提交也会超时,超时间的时间是30分钟,如果30分钟都不提交,就认为这笔事务就够了,就超时了,这样就不会无限地等下去。通过这样一个事务的命令,把这个交易给串起来。

这就是串起来之后的结果,这是我们的界面,这就是在搜索框里刚才写的搜索处理语言的程序,出来的结果就把这些交易全都串起来,一笔缴费业务,营业员所有操作都一目了然。它还得监控这些营业员,看这些营业员各自的效率怎么样。每个步骤所需要执行的时间都排好,包括网络处理时间、服务器处理时间,都排好序。这就是我们在中国移动山东省分公司做的一个案例。

案例三:国家电网

日志易产品主要用在安全信息事件管理,因为终端信息安全是日志的调查、分析、取证,它要到各省分公升去做审计,快速排查日志里的问题。

合作客户


日志易提供部署版产品,SaaS版产品在阿里云的体验入口:点我

日志易简介:

日志易专注日志分析领域,产品做得像Google搜索引擎一样强大、灵活、易用。目前,日志易产品已成功应用于金融、能源、运营商及互联网等诸多行业,其中金融客户包括中国银行、新疆农信、鹏华基金及第三方支付公司等;能源行业客户已囊括国家电网、南方电网、中石油、中石化等国内知名企业;移动、电信等国内主流运营商以及小米、乐视、网宿科技等诸多明星互联网企业均已牵手日志易——目前日志易大客户已达百余家。

日志易对运维日志及业务日志进行实时采集、搜索、分析及可视化等,用于运维监控、安全审计、业务数据分析,最终发掘出数据价值。

时间: 2024-10-21 12:17:01

(案例篇)日志易:IT运维分析及海量日志搜索的实践之路(下)的相关文章

日志易:IT 运维分析及海量日志搜索的实践之路(上)

内容简介: IT运维分析(IT Operation Analytics, ITOA)是近年兴起,其把大数据技术应用于分析IT运维产生的大量数据,数据来源主要有日志.网络流量.植入代码.布点模拟监控等.过去使用数据库处理日志无法支持大数据量,后来出现了使用Hadoop/Storm/SparkStreaming等开发框架来处理日志,及最新的使用实时搜索分析引擎来对日志进行实时处理.现如今使用Hadoop/Storm/SparkStreaming等开发框架来处理日志已经在各大公司被广泛的运用,本次演讲

IT运维分析与海量日志搜索

    陈军 日志易创始人兼CEO 拥有17年IT及互联网研发管理经验,曾就职于Cisco.Google.腾讯和高德软件,历任高级软件工程师.专家工程师.技术总监.技术副总裁等岗位. 负责过Cisco路由器研发.Google数据中心系统及搜索系统研发.腾讯数据中心系统和集群任务调度系统研发.高德软件云平台系统研发及管理,对数据中心自动化运维和监控.云计算.搜索.大数据和日志分析具有丰富的经验. 他发明了4项计算机网络及分布式系统的美国专利,拥有美国南加州大学计算机硕士学位.   演讲实录   

运维人必备:日志分析工具日志易之银行业解决方案

运维人必备:日志分析工具日志易之银行业解决方案银行和金融服务行业面临着因为技术革新带来的许多挑战和机遇.系统每天产生数以 TB 计的交易.支付.渠道等各种日志数据.银行机构必须为迅速增长的海量数据建立全新的处理策略和维护能力,以应对日趋复杂的管理需求和抓住不断变化市场机遇.日志数据中蕴藏着丰富的知识,可以帮助银行机构提高服务质量,占据竞争优势.1.关联事务查询横跨多个应用.设备进行实时关联分析,帮助金融机构从头到尾地跟踪事务,确保事务完整性.2.多维度异常分析帮助金融机构实时了解用户行为,在用户

优云软件数据专家最佳实践:数据挖掘与运维分析

这份研究报告,作者是优云软件数据专家陈是维,在耗时1年时间制作的一份最佳实践,今天和大家分享下,关于<数据采矿和运维分析>,共同探讨~ 数据挖掘(Data Mining)是从大量数据中提取或"挖掘"知识. 广义数据挖掘:数据挖掘是从存放在数据库.数据仓库或其它信息库中的大量数据挖掘有趣知识的过程. 数据挖掘技术侧重:1)概率与数理统计 2)数据库技术 3)人工智能技术 4)机器学习. 1. 数据清理:消除噪音或不一致数据 2. 数据集成:多种数据源可以组合在一起 3. 数据

运维人不应该忽略的理念和实践

虽然我们都是做运维,有时候说自己是做技术的,有时候说自己是做服务的.无论是技术还是服务,那些经典理论,你一定不要错过.因为它们带给你的是一种思维,而非是在你我看来和工作无关的黑白文字. 一.波特价值链(摘自MBA资料库) 由美国哈佛商学院著名战略学家迈克尔·波特提出的"价值链分析法"(如下图),把企业内外价值增加的活动分为基本活动和支持性活动. 基本活动涉及企业生产.销售.进料后勤.发货后勤.售后服务.支持性活动涉及人事.财务.计划.研究与开发.采购等,基本活动和支持性活动构成了企业的

40+篇服务器操作及运维基础知识!实用基础、最佳实践、服务器安全…快来!

这是一篇纯干货分享帖,不谈个人经验,只搬运牛人的技术"经验". ECS是阿里云非常重要的一款云服务产品,大多数人的云端之旅也是从ECS开始,以下知识将从浅入深,从图文到视频,再到最佳实践,相信看过这些内容之后,您就可以飞升成为云计算达人啦. 第一部分:实用知识贴 1.如何选择阿里云云服务器ECS操作系统 2.ECS控制台使用小贴士 3.使用TAG标签对云服务器ECS的分组和管理 4.如何用阿里云服务器建立一个wordpress网站 5.阿里云ECS如何部署并运行一个JavaWeb项目

日志易产品总监跟您聊聊数据驱动的智能运维

中生代技术3月年度大会北京站运维专场,来自日志易的产品总监饶琛琳做了精彩分享,<数据驱动的智能运维>,以下是分享全部PPT内容 (全文完) 来源:中生代技术 原文链接

优云蒋君伟:运维监控大数据的提取与分析

本文内容整理来自[敏捷运维大讲堂]蒋君伟老师的线上直播分享.分别从以下3个维度来分享:1.云时代监控分析的窘境:2.使用标签标记监控数据的维度:3.监控数据应用场景. 云时代监控分析的窘境 在虚拟化与容器技术广泛应用的情况下,运维对象大规模地增长,监控平台每天存储的指标都以亿计,所以监控数据如今已经成了大数据.传统的监控工具在这种场景下,对于数据的提取分析,已经力不从心,反而成为了运维的负担. 我们用一个典型的互联网档案分析应用举例说明: 这个应用支持容灾与负载均衡,它部署在三个数据中心,并同时

跟老男孩学Linux运维:Shell编程实战.

Linux/Unix技术丛书 跟老男孩学Linux运维: Shell编程实战 老男孩 著 图书在版编目(CIP)数据 跟老男孩学Linux运维:Shell编程实战 / 老男孩著. -北京:机械工业出版社,2017.1 (Linux/Unix技术丛书) ISBN 978-7-111-55607-7 I. 跟- II. 老- III. Linux操作系统 IV. TP316.85 中国版本图书馆CIP数据核字(2016)第313248号 跟老男孩学Linux运维:Shell编程实战 出版发行:机械工