Apache Metron晋升顶级项目

Hortonworks和Apache宣布Metron正式晋升为顶级项目。Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台,代表了安全数据平台的最新发展水平。该项目最早可溯源至Cisco的开源大数据系统安全框架项目OpenSOC。Metron提供的功能包括:日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩,并可以将当前的威胁情报信息应用到安全遥测中。Metron在同一平台中集成实现了所有的这些功能。
Metron从概念上可划分为四个组件:数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。

从核心上看Metron是Kappa架构。Kappa是Lambda架构的一种变体,使用Apache Kafka作为统一的数据总线,并使用Apache Strom作为处理组件。Bro插件提供了将Bro日志发送给Kafka的能力,这使得Metron可以捕获对深度探究数据包尤为有用的数据、借助Kafka的可靠性保证捕获并重建数据,以及与其他大数据生态系统进行集成。

数据捕获组件实现将遥测数据发布到Metron的消息总线上,进而持久化或经由Storm进行实时处理到HBase中。Metron对被捕获的数据提供了多种方法建立搜索索引和进行实时与近实时处理。Metron提供了数据接口,使得HBase可根据情况与ElasticSearch、Lucene和Solr进行接口。Metron默认提供的系统管理和仪表盘接口是基于Kibana构建的。

Metron具有一些不同于新兴数据流水线标准的特征。首先,Metron是通过Stellar与一系列的数据转换功能和API进行集成的。Stellar是一种威胁情报分离和场转换语言,通过Metron的RESTful模型即服务(MaaS,Modeling-as-a-Service)功能进行部署和执行。MaaS功能使用Yarn管理,设计实现为一种实时或近实时的威胁检测和响应机制。其次,数据浓缩工具集提供了管理和加载各种数据浓缩和威胁情报源到Metron的HBase数据接收器的功能。通过MaaS部署的机器学习模型,Metron实现了对数据浓缩步骤的增强。最后一点,Metron提供了一系列的分析工具。当实时和近实时的遥测数据进入数据总线以及在HBase中持久化时,分析工具实现了执行特性抽取和截取数据窗口的机制。

该Apache项目由Owen O'Malley领导,最早正是他负责将OpenSOC项目迁移为Metron项目。

本文转自d1net(转载)

时间: 2024-10-27 17:04:18

Apache Metron晋升顶级项目的相关文章

Apache 基金会宣布 Apache Kylin 成为顶级项目

Apache Kylin 是可扩展到PB规模的开源分布式大数据分析引擎,已被应用在eBay,Exponential, 京东,美团,明略数据,网易及其他公司. 马里兰州 Forest Hill - 2015年12月8日 -由超过350个开源项目及创新计划,全部由开发志愿者,治理志愿者及孵化志愿者组成的 Apache软件基金会(ASF),今天宣布Apache Kylin已经从Apache孵化器项目毕业,正式升级成为顶级项目(TLP),这标志着该项目的社区和产品依照ASF精英管理的流程和原则顺利运作.

Apache® CarbonData™ 成 Apache 软件基金会顶级项目

Apache软件基金会正式宣布CarbonData从Apache孵化器毕业,正式成为Apache顶级项目(TLP),这也是首个由中国公司发起并捐献给Apache基金会的开源项目. Apache CarbonData是由华为开源贡献的大数据高效存储格式解决方案.针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持"交互式分析.详单查询.任意维度组合的过滤查询等"多种大数据应用场景,并通过丰富的索引技术.字典编码.列

Apache 基金会宣布 Apache Eagle 成为顶级项目

2017年1月10日, 由超过350个开源项目及创新计划,全部由开发志愿者,治理志愿者及孵化志愿者组成的Apache软件基金会(ASF),宣布Apache Eagle已经从Apache孵化器项目毕业,正式升级成为顶级项目(TLP),这标志着该项目的社区和产品依照ASF精英管理的流程和原则顺利运作. Apache Eagle是一个开源监视和警报解决方案,用于智能实时地识别大数据平台上的安全和性能问题,例如Apache Hadoop,Apache Spark等. "我们很自豪Eagle能顺利度过孵化

Metron & Fineract 双双升级成 Apache 顶级项目

Apache 软件基金会宣布 Metron 以及 Fineract 从孵化器毕业,正式成为 Apache 顶级项目(TLP). Apache Metron 是一个网络安全的实时数据处理.分析.查询.可视化框架,于2015年12月进入 Apache 孵化器.项目集成了各种开源大数据技术,为安全监控和分析提供了集中工具. Metron 拥有支持大规模摄取.处理.检索与信息可视化的所有适当元素,一些关键的网络数据将推动数据保护.监控.分析与检测,并且有助于对恶意的非法行为予以回应. 亮点包括: 捕获.

Apache Ranger升级为顶级项目

Apache Hadoop生态系统中的安全管理框架Apache Ranger晋升为顶级项目.Range是一种定义和管理安全策略的集中式组件,这些安全策略在受支持的Hadoop组件间强制执行,包括Apache HBase.Hadoop(HDFS和YARN).Apache Hive.Apache Kafka.Apache Solr等. 对于受支持的Hadoop组件,Ranger通过访问控制策略提供了一种标准的授权方法.作为标准,Ranger提供了一种集中式的组件,用于审计用户的访问行为和管理组件间的

Apache Drill 成为 Apache 基金会顶级项目

Apache 基金会今天宣布 Apache Drill 成为基金会的顶级项目.项目新的首页是:http://drill.apache.org/ 为了帮助企业用户寻找更为有效.加快Hadoop数据查询的方法,Apache软件基金会发起了一项名为"Drill"的开源项目.Apache Drill 实现了 Google's Dremel. 该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速).而"Drill&qu

RocketMQ成为Apache软件基金会顶级开源项目

9月25日,Apache软件基金会官方宣布,阿里巴巴捐赠给Apache社区的开源项目RocketMQ从Apache社区正式毕业,成为Apache顶级项目(TLP).自此,Apache RocketMQ成为国内首个非Hadoop生态体系.国内首个互联网中间件的Apache顶级项目. "从孵化器中毕业是一个重要的里程碑" Apache RocketMQ孵化器导师.SAP Hybris研发总监.Apache ActiveMQ副主席Bruce Snyder先生对此评价道,"这是对Ro

Apache 顶级项目 Wink 将由于不活跃而终止

近日,Apache 发布了一封终止 Apache Wink 项目相关事项的邮件,宣布Apache 顶级项目 Wink 将由于不活跃而终止,具体内容如下: Announcing that the Apache Wink committers have voted to retire the project due to inactivity. Wink was a simple yet solid framework for building RESTful Web services. It is

喜讯!RocketMQ成为Apache软件基金会顶级开源项目

9月25日,Apache软件基金会官方宣布,阿里巴巴捐赠给Apache社区的开源项目RocketMQ从Apache社区正式毕业,成为Apache顶级项目(TLP).自此,Apache RocketMQ成为国内首个非Hadoop生态体系.国内首个互联网中间件的Apache顶级项目. "从孵化器中毕业是一个重要的里程碑," Apache RocketMQ孵化器导师.SAP Hybris研发总监.Apache ActiveMQ副主席Bruce Snyder对此评价道,"这是对Roc