云如何帮助企业处理安全日志数据

所有信息安全控制的共同点是都有以日志事件和报警的格式所生成的数据输出。随着企业规模的增加或者安全级别的增加,安全日志数据及其存储需求也在快速增长。

最近很多服务迁移到云服务提供商的过程给企业带来了一些挑战,如何处理这样大规模的数据——这些数据现在位于同一个云平台的外部。幸运的是,很多这样的CSP在该领域非常活跃,并且一些令人激动的新机遇也随之出现。

分析云上的安全日志数据

有1000多名员工以及平均网络规模的企业能够在一天内轻松生成100GB的日志。如果该企业的大多数环境都托管在云平台上,那么在企业本地站点里对这么大量的数据进行分析,比如,SIEM几乎是不可能完成的任务。这些数据如何能够快速同步从而允许实时分析呢?而且黑客还有可能通过生成大量日志数据来延迟或者阻塞数据流,从而导致安全监控的临时缺失。这里最有效的方案是在云平台里直接监控并且分析日志数据。一种可能的混合方案就是在基于云的服务器上运行SIEM应用程序或者运行简单的日志分析应用,并且将一些更有意思,更相关或者过滤后的数据传送回企业的本地环境。

Microsoft为其Azure平台发布了白皮书,介绍了Azure Deployment Monitoring 和 Windows Event Forwarding。Amazon也提供了类似方案,并且大多数CSP允许客户部署自己的SIEM或者Splunk的相关服务。

从云上下载安全日志数据

可以周期地或者临时地从供应商那里下载安全日志数据,即使这样的数据非常多。然后这些数据可以输入本地的SIEM,比如Alien Vault或者ArcSight来做本地分析,并且如果需要的话,可以和其他事件输入源相关联。周期下载可以基于API的连接。可以每天或者足够频繁地安排下载,从而使得看上去这些数据是持续高效同步的。通常也会使用这样的方法获取基于云的安全产品的数据,比如云杀毒以及入侵监测系统。

如上所述,在计划这样的方案时,还需要考虑带宽的使用和数据输入被中断的可能性,以及限制安全事件的可见性。基于合规要求或者深入的事件调查,有时候需要好多个月的数据。基于这样的数据规模,下载可能无法进行。CSP通常还能够帮助实现自定义的可适应的解决方案。比如,Amazon,开发了Snowball,这是一个PB节规模的,保护数据传输的工具,设计用来将大量数据移入或者移出AWS云。其他供应商也提供了类似方案,因为这样的海量数据请求并不少见。

将安全日志数据上传到云里

一些企业不需要从云里下载安全数据;他们需要将数据上传到云环境里。这样的情况发生在云环境里存在SIEM产品时。如上所述,这是可能的,因为一些企业在云环境里生成的安全日志数据比本地生成的要多得多。这些本地生成的日志数据就需要上传到云上作分析和关联。

它还能够为合规或者数据冗余的目的,提供线下存储的可靠格式。黑客能够攻击安全日志数据,那么拥有一个安全的线下副本就是一种信息安全的最佳实践。

SIEM即服务

独占的第三方基于云的安全运维中心(SOC)供应商也越来越流行。Loggly就是这样的一个公司,它允许客户上传自己的安全日志数据。Loggly SOC监控并且分析这些数据,在需要的地方给客户报警。这样的方案有时候称之为SOC即服务,或者SIEM即服务(SaaS)。每年有越来越多的SaaS供应商出现,比如Alert Logic和Proficio,并且这样的趋势很可能会持续。使用SaaS供应商意味着企业不需要高价搭建自己的,高技能24/7的SOC。但是,也要考虑到所需的带宽,服务的可用性和可能的合规和本地规范,也就是说这样的系统并不是所有公司的最佳选择。

结论

安全日志数据所带来了一些云客户必须处理的挑战,其中大部分在去年已经都解决了,出现了很多可用的工具和服务。这些方案中的绝大多数都创建了一种类似混合的云配置,一部分数据储存在本地,另一部分数据储存在云端。使用市面上可用的相对简单的上传以及下载方案,这些数据能够并且应该能够以这种或那种的格式同步。SIEM即服务的引入说明了云安全的领域仍然非常动态,可以期待在最近几年里,这个领域会出现很多更加激动人心的产品。

本文作者:佚名

来源:51CTO

时间: 2024-10-15 09:21:39

云如何帮助企业处理安全日志数据的相关文章

日志数据的关键字统计与报警实践指南

目的 统计业务日志中关键字的数量,并在统计数量达到一定条件时报警是业务日志的常见需求之一.本教程的目的是通过一个具体案例介绍如何对存储在日志服务产品中的数据进行关键字统计和报警.参照本教程的介绍,您可以快速走通日志的关键字统计.查询图表可视化和设置报警流程. 实战案例 使用前提 首先需要您将本地日志收集到日志服务(Log Service)中,如果您未使用过阿里云日志服务产品,可查看日志服务快速入门了解产品. 需要确保主账号的AccessKey是激活状态.AccessKey保持激活状态后您才能授权

湖北区域阿里云服务:企业数据上云迁移服务

湖北区域阿里云服务商为企业客户提供上云架构设计和海量数据上云迁移服务 服务目录 上云整体方案设计 1.分析业务系统特点,根据业务系统数据规模.用户量.访问量.业务特点协助客户完成需求评估.产品选型和资源规划,完成应用上云方案和部署建议. 2.对需要改造的系统,提供上云改造方案建议以及面向互联网.高并发.海量数据的企业IT架构设计与咨询. 3.提供上云的成本和资源清单预估. 上云架构设计 针对不同的业务场景设计系统迁云方案,包括应用迁移(镜像迁移,直接部署),系统容量设计,云上高可用设计,负载均衡

基于Apache Flume Datahub插件将日志数据同步上云

本文用到的 阿里云数加-大数据计算服务MaxCompute产品地址:https://www.aliyun.com/product/odps 简介 Apache Flume是一个分布式的.可靠的.可用的系统,可用于从不同的数据源中高效地收集.聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件.本文将介绍如何使用Apache Flume的Datahub Sink插件将日志数据实时上传到Datahub. 环境要求 JDK (1.7及以上,推荐1.7) Flume-NG 1.

Docker时代——如何实现日志数据一键上云

一. 准备工作 1.1 开通MaxCompute服务 参考使用MaxCompute的准备工作 1.2 开通Datahub服务 进入Datahub Web控制台,创建project(注意:首次使用的用户需要申请开通) 1.3 安装Docker环境 Docker官方说明了在不同操作系统下安装Docker的方法,您可以点击此处查看. 在阿里云ECS上,以CentOS 7.2为例,安装方式如下: sudo yum install docker sudo systemctl enable docker s

云时代,企业怎样用CRM开展大数据营销

云时代的到来,改变了人们生活的方方面面.无论是快速发展的技术,还是重构的新型商业模式,都在表明云时代带来的巨大变革即将爆发.暗流涌动之下,企业自身急需进行转变,颠覆自己,否则只有等待被颠覆的命运.云时代的来临,致使企业的传统营销模式正在土崩瓦解,新型的.个人化的营销模式正在席卷残云.以前以一群人.一群东西为主导的规模营销正在消亡,取而代之的是以一个人.一个物体为最小服务单位的精确化营销.而大数据在此时的作用,犹如当代社会的经济引擎,指引着企业如何就客户的精准需求,来发挥客户的最大化价值,为企业的

云消灭了企业数据中心?

您还记得1981年8月1日周六中午12:01自己在哪里吗?不要告诉我您不记得世界历史上如此重要的时刻.那天的变化彻底改变了整个世界--就在那一天,MTV正式出现,着名的歌手Buggles的<电视消灭了广播歌星>第一次播出,标志着广播音乐的灭亡.这是多么奇妙的一天呀.每当老一辈人说道他们过去是如何通过收音机听音乐的时,我总是感到很惊讶. 但是,事情并没有像人们想象的那样发展.MTV并没成为真正的革命.它甚至算不上什么新创意.我今天早晨还在上班的路上从收音机里听音乐.事实上,MTV只不过是1960

使用阿里云优惠券轻松享受超强性能大数据型实例

阿里云优惠券已可以支持购买阿里云服务器大数据型实例,此实例专为Hadoop分布式计算.海量日志处理和大型数据仓库等大数据业务场景而设计,提供ECS实例中最优性价比的磁盘吞吐能力和单位存储容量,解决企业在生产环境中出现的海量业务数据存储的难题. 阿里云优惠券:点击领取 阿里云服务器大数据型实例活动地址:https://promotion.aliyun.com/ntms/act/bigdatad1.html 一定要先领券,再参加活动. 大数据型云服务器产品优势 配置 提供ECS实例中最优性价比的磁盘

【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute

免费开通大数据服务:https://www.aliyun.com/product/odps 概述:大数据时代,谁掌握了足够的数据,谁就有可能掌握未来,而其中的数据采集就是将来的流动资产积累. 任何规模的企业,每时每刻都在产生大量的数据,但这些数据如何归集.提炼始终是一个困扰.而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的信息,但前提是如何获取大量有价值的数据. 相信很多做过网站管理的人对网站访问日志(Access Log)应该不会陌生,

如何为企业选择合适的数据集成工具?

企业产生和收集的数据量日渐增长,随之而来的是对这些数据进行集成需求的增长,可以帮助IT团队简化并管理这一流程的数据集成软件应运而生.但是产品类型如此丰富,对你的企业来说哪些数据集成工具才是最佳之选呢?选择这类产品并非要挑那些拥有丰富功能的,而是要选择与你的集成需求和企业特质最为适配的产品. 在对数据集成平台评估之前,要在企业内部进行调查来协助产品选择过程.你的调查应该涵盖下列主题: 源系统.企业拥有多少源系统?是否拥有重叠系统,例如多重CRM或是销售处理应用程序?除了传统结构化数据,是否存在非结