Logz.io提供了基于机器学习的日志分析

Logz.io提供了一种使用机器学习进行智能日志分析的托管服务。该服务能够从人类与日志数据的交互中获得新的观点,这些日志数据包括技术论坛上的讨论内容和公共代码库。

DevOps团队使用ELK这类日志分析工具中心化了日志的聚合和索引过程,但是现代应用正快速地生成大量的日志和度量指标,日志的庞大规模使得日志分析工作难以顺利进行。另一方面,所采集度量指标的数量也在快速地增长,这导致传统监测工具只能用来做数据展示。数据在规模上的增长也导致了基于阈值的报警不再适用,这也引发了异常检测系统的异军突起,这些系统包括Anomaly.io、Datadog和SumoLogic,以及Etsy的Skyline这样的开源系统。

相比异常检测系统而言,Logz.io所提供的服务更进了一步,它给出了对异常情况的深层见解,这些见解是通过在人们的网络交互数据上进行机器学习得出的。这些数据中包括在StackOverflow和Github这样的网站上对类似异常情况的讨论。如果单纯地使用Google搜索异常情况,这常会出现大量的搜索结果,Logz.io是如何做到对相关结果的过滤的呢?InfoQ联系了Logz.io公司的CEO和联合创始人Tomer Levy,他对此做了详述:

Logz.io使用了机器学习技术去理解线索的情境、线索所指的产品、是否有解决方案以及提问者对给出的方案是否满意。我们还拿自有的用户数据跟这些线索进行交叉引用。

此外,Levy还指出:“在给出了对用户关注的见解后,我们进而基于他/她对该见解的反馈情况对它们之间的相关性进行评估。”这就实现了一种反馈闭环,使得该服务系统可以与时俱进。

很多现代的软件产品都是使用开源程序库构建的,因此大部分情况下在因特网上搜索这些产品的某个错误或异常都会给出搜索结果。但也应考虑到在极少数情况下,还有一些产品是完全从头构建的,没有使用任何公开可用的代码。对此,Logz.io计划在未来发布一种“非公开见解”,允许组织定义自己的异常和异常的相关细节。

Logz.io采用了Elasticsearch-Logstash-Kibana(ELK)技术栈作为后台,提供的服务托管在Logz.io私有云上,这意味着日志数据必须要从各个应用端传输到该私有云中。对那些部署了自有ELK的组织来说,Logz.io提供了本地日志传输器,帮助这些组织将数据安全传输到Logz.io云上。

作为对如何解决企业所关注的数据安全问题的回应,Levy说道:

在数据安全方面,我们投入大量精力在数据加密和全面的安全流程上。Logz.io聘请了安永会计师事务所对安全基础设施和流程进行审计,并在近期通过了欧盟对SOC 2 II型报告和ISO-27001标准的合规审计。此外,公司的数据是在美国托管的。为确保遵守欧盟的法规,基于欧盟的企业可以选择将数据放在法兰克福保存。

本文转自d1net(转载)

时间: 2024-08-04 12:17:53

Logz.io提供了基于机器学习的日志分析的相关文章

安全管理平台中基于云计算的日志分析系统设计

安全管理平台中基于云计算的日志分析系统设计 陈洁 于永刚 刘明恒 潘盛合 徐克付 安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息.为解决现有SMP 中海量日志查询效率低下的问题,设计基于云计算的SMP 日志存储分析系统.基于Hive 的任务转化模式,利用Hadoop 架构的分布式文件系统和MapReduce 并行编程模型,实现海量SMP 日志的有效存储与查询.实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得

360收购不到一岁的基于SaaS模式在线网站日志分析平台“日志宝”

冯大辉的http://www.aliyun.com/zixun/aggregation/32631.html">小道消息今日透露,360已经完成了对"日志宝"的收购.日志宝创始人兼CEO董方向我们证实了该消息,并表示此次收购是基于业务和资源的整合,但未透露具体收购细节,只是说收购形式为"股票+现金". 日志宝是一个基于SaaS模式的在线网站日志分析平台,专注于提供网站Web访问日志分析服务,目前兼容NCSA和W3C日志格式,于2012年5月7日正式上

日志分析方法概述

日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核.各种应用服务器等等.日志的内容.规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志.其实并没有精确的定义,可能包括但不限于各种前端Web服务器--apache.lighttpd.tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志. 在Web日志中,每条日志通常代表着用户的一次访问行为,例如下面就是一条典型的apache日志: 211.87.152.44 – - [

软件定义数据中心(SDDC)的日志分析

现代化基础设施不断生成日志数据的速度已远远超过人类分析的速度.而且,现在的数据中心可以在脚本控制下建立或拆除,其活动数量和数据量都在呈指数增长. 传统的数据分析法是每周或每天依照列表审查日志文件,这种方法已无法满足软件定义数据中心(SDDC)对数据审查的要求.SDDC的现代架构具有针对多层应用的高度自动化的动态部署能力,它要求实时日志分析也必须到位,分析是复杂故障排除.动态配置.保证高性能以及卓越安全性的关键. 在软件定义数据中心,你看到的是大量服务器之外的变量.你想看到配置量和配置时间,想知道

日志分析方法概述 怎样变得更简单更有价值

中介交易 SEO诊断 淘宝客 云主机 技术大厅 日志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志:操作系统内核.各种应用服务器等等.日志的内容.规模和用途也各不相同,很难一概而论. 本文讨论的日志处理方法中的日志,仅指Web日志.其实并没有精确的定义,可能包括但不限于各种前端Web服务器--apache.lighttpd.tomcat等产生的用户访问日志,以及各种Web应用程序自己输出的日志. 在Web日志中,每条日志通常代表着用户的一次访问行为,例如下面就是一条典型的apach

DockOne微信分享( 一零二):基于容器的日志管理实践

本文讲的是DockOne微信分享( 一零二):基于容器的日志管理实践[编者的话]业务平台每天产生大量日志数据,为了实现数据分析,需要将生产服务器上的所有日志收集后进行大数据分析处理,Docker提供了日志驱动,然而并不能满足不同场景需求,本次将结合实例分享日志采集.存储以及告警等方面的实践经验. 2013年以来Docker迅速火了起来,它的理念带来了非常大的便利性,不过实际应用中会发现还有监控.日志.网络等问题尚待解决,本文会结合实例分享数人云做容器日志系统的经验. 基于ELK的日志管理系统架构

基于机器学习的阿里智能助理在电商领域的架构搭建与实现

在2016杭州云栖大会的"开发者技术峰会"上,来自阿里巴巴的高级技术专家陈海青带来了题为<基于机器学习的阿里智能助理在电商领域的架构构建与实践>.本次分享主要包括阿里小蜜平台介绍.智能人机交互构建技术实践.挑战与未来三部分. 以下内容根据演讲PPT及现场分享整理. 阿里小蜜平台介绍 当今人工智能的领域是从感知到认知领域发展,将会带来拟人化体验的提升:同时,这也会带来行业模式的变化,应用领域成本的降低.现阶段,自然语言交互型的私人助理已经成为人工智能的热点领域之一,如微软的小

基于机器学习的web异常检测

本文讲的是基于机器学习的web异常检测,Web防火墙是信息安全的第一道防线.随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战.传统web入侵检测技术通过维护规则集对入侵访问进行拦截.一方面,硬规则在灵活的黑客面前,很容易被绕过,且基于以往知识的规则集难以应对0day攻击:另一方面,攻防对抗水涨船高,防守方规则的构造和维护门槛高.成本大. 基于机器学习技术的新一代web入侵检测技术有望弥补传统规则集方法的不足,为web对抗的防守端带来新的发展和突破.机器学习方法能够基于大

为什么基于机器学习的产品很难见到?

大数据甚嚣尘上了三四年,如今创业不讲机器学习和数据挖掘都不好意思跟投资人介绍.但现实情况是,你在市面上见过多少套已经产品化的基于机器学习的软件?凤毛麟角.恐怕很多满嘴术语的从业者都不明白,作不到预测的机器学习都是在忽悠.而能实现预测的产品,说难不难,可是门槛不低,能做出来的创业团队不多见. [本文中人称指代纯粹为修辞手法,部分文字有嘲讽含义,夸张更是必不可少,不喜勿入.] 那些漫天飞的所谓大数据分析报告,不是数据挖掘,更不是机器学习.类似本文所配题图是不是经常出现在大部分机器学习的文章中?事实是