安全管理平台中基于云计算的日志分析系统设计

安全管理平台中基于云计算的日志分析系统设计

陈洁 于永刚 刘明恒 潘盛合 徐克付

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP 中海量日志查询效率低下的问题,设计基于云计算的SMP 日志存储分析系统。基于Hive 的任务转化模式,利用Hadoop 架构的分布式文件系统和MapReduce 并行编程模型,实现海量SMP 日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得 SMP 日志的平均查询效率提高约90% ,并能加快SMP 集中管控的整体响应速度。

安全管理平台中基于云计算的日志分析系统设计

时间： 2024-10-02 15:33:13

安全管理平台中基于云计算的日志分析系统设计的相关文章

搜索服务中基于云计算的垃圾网页识别研究

搜索服务中基于云计算的垃圾网页识别研究 李艳平  徐雅斌  陈俊伊 为了快速.有效地对垃圾网页进行识别,提出了一种基于云计算平台的垃圾网页识别方案．在Hadoop分布式平台下构建一个基于页面内容和连接结构的支持向量机分类器,对垃圾网页进行识别,通过对数据进行分析．结果表明:垃圾网页的识别准确率较高,处理时间随着集群节点数的增加而明显减少． 关键词 搜索服务:垃圾网页识别:支持向量机:云计算:Hadoop:MapReduce 搜索服务中基于云计算的垃圾网页识别研究

CDNs中基于云计算的资源分配控制器设计

CDNs中基于云计算的资源分配控制器设计 宋亭 陈立 基于云技术的自适应视频流分发网络,本文提出一种控制机制,并采取反馈控制技术,设计一种动态资源分配控制器,通过调节云技术CDN网络中的虚拟机数量,在向用户提供最高质量视频服务的同时,实现传输成本最小化.实验结果表明,本资源分配控制器大大降低了传输成本,提高了用户视频服务的质量. CDNs中基于云计算的资源分配控制器设计

基于Hadoop用户行为分析系统设计与实现

基于Hadoop用户行为分析系统设计与实现 北京交通大学  郝增勇 本课题在大数据背景下,针对不能全面准确分析网络用户行为的问题,利用网络安全开发包Libnids和分布式平台Hadoop关键技术,重点研究设计并开发出基于Hadoop的用户行为分析系统.本系统实现了海量数据包抓取和分布式存储.TCP重组和应用层HTTP行为分析等功能,不仅有助于服务提供者根据用户行为特征提供更好的推荐服务,而且为网络相关部门对网络舆论进行合理的监控奠定有效的技术支撑.本文采用了基于Hadoop的用户行为分析方法,首

Logz.io提供了基于机器学习的日志分析

Logz.io提供了一种使用机器学习进行智能日志分析的托管服务.该服务能够从人类与日志数据的交互中获得新的观点,这些日志数据包括技术论坛上的讨论内容和公共代码库. DevOps团队使用ELK这类日志分析工具中心化了日志的聚合和索引过程,但是现代应用正快速地生成大量的日志和度量指标,日志的庞大规模使得日志分析工作难以顺利进行.另一方面,所采集度量指标的数量也在快速地增长,这导致传统监测工具只能用来做数据展示.数据在规模上的增长也导致了基于阈值的报警不再适用,这也引发了异常检测系统的异军突起,这些系

IBM公司新推一个基于云计算的Web分析工具

据外媒报道,IBM最新推出了一个Web分析工具,结合了其现有的基于B/S架构的专业数据度量和分析工具CoreMetrics和营销分析服务Unica.IBM在去年耗资4.http://www.aliyun.com/zixun/aggregation/19203.html">8亿美元收购Unica,帮助企业分析客户数据,并预测他们的需求和行动,Unica在被收购时拥有超过1500家客户,除此之外,IBM在去年还收购了互联网分析软件公司Coremetrics,不过两家公司均未透露此并购的有关协议

基于云计算的临床医学信息分析系统构建

基于云计算的临床医学信息分析系统构建 森干 杜守洪 王超 陈国忠 周毅 研究基于国内外公网和医学专业网站组成的公有云的临床医学信息采集.分析.整合及存储,构建基于标准化和规范化的医学数据仓库和数据多维立方体,并在此基础上,构建医学数据挖掘的研究平台,通过利用存储在数据仓库中的数据完成进行多层次.多角度挖掘工作和集成分析,并以软件即服务(SaaS)的模式向所在学科的医疗卫生人员提供其关注的基础医学.临床治疗.流行病学研究等信息,使医学信息资源的利用水平达到一个新的高度,建立区域性的医学信息共享平台

基于云计算的病毒恶意软件分析研究

基于云计算的病毒恶意软件分析研究 南京航空航天大学  孟超 本文提出了基于云计算的动态行为分析方案,该方案利用云计算分布式计算的特点,在云计算多个虚拟机结点上并行的完成对病毒恶意软件多条执行路径的分析,对虚拟机中系统调用的监控发现病毒恶意软件在特定的条件下触发的恶意行为.采用PIF算法来形式化的描述可疑文件分析和报告返回的过程,对该算法的改进也同时提高了分析的效率,PIF算法是分布式算法特别适合在云计算环境中执行.实验结果表明,该模型能够检测出病毒恶意软件的条件触发行为,并且可以发现触发恶意行为

惠普助力河南移动业务支撑系统安全管理平台

中国移动集团业务支撑系统部为贯彻集团关于加强业务支撑系统全网安全管理,提升全网安全防护能力的工作要求,提出在2011年中国移动各省重点建设安全运营管理平台系统的项目建设要求.中国移动通信集团河南有限公司(以下简称"河南移动")作为此项工作的重要推行者和实践者,选择惠普技术服务事业部安全技术服务团队为其成功搭建了河南移动业务支撑系统安全管理平台(HENAN MCC BOSS SMP),实现业务支撑网的"主动安全管理自动化"和"被动安全管理智能化"的

windows日志分析工具–WebLog Expert

1.什么是WebLog Expert Weblog expert是一个快速和强大的访问日志分析器.这会让你了解你的网站的访客:活动统计,访问的文件的路径,通过该网站,信息指页面,搜索引擎,浏览器,操作系统,和更多.该计划所产生的易于阅读的报告,包括文本信息(表)和图表. 官方网站:http://www.weblogexpert.com 2.WebLog Expert 的安装 因为是运行在windows平台上的一个程序,安装过程非常简单,不懂的话,一路next 就可以完成软件的安装. 从官网下载一