如何在虚拟环境下测试数据分析?

IT安全的发展是围绕数据,生成、收集、收集、存储和分析数据是安全日志的重要部分,但这些大型数据集给存储和处理资源带来巨大压力。

在专业生产环境中,应该部署着良好的数据收集和分析基础设施,并有足够的资源进行可靠和稳定的设置。

然而,现实情况是,由于预算限制以及对更大灵活性的需求,安全专家通常需要在更小的环境中实施和测试数据分析及处理。幸运的是,即使预算低且时间有限,我们仍然有办法可以测试数据分析。本文中,让我们看看在小环境中有限预算情况下测试数据分析的方法。并且,让我们看看在小型环境有效运行数据分析的方法。

虚拟化

为了保持低成本以及高配置灵活性,我们应该尽可能多地利用虚拟化硬件。Vmware
ESXi是数据分析测试实验室的不错选择,Parallels、VirtualBox和Hyper-V等其他产品也可以使用。在这个例子中,我们将使用Vmware。在免费注册许可证后,这个管理程序可安装在相对廉价的硬件中—但是要注意支持的CPU要求,否则也可能会很昂贵。在管理程序上,我们可以通过虚拟网络安装和连接很多不同的虚拟主机。例如,这包括基于Linux和Unix的代理服务器、IDS和防火墙设备,以及Splunk和Syslog服务器。

代理服务器

代理服务器可提供对网络流量的可视性,并可处理流量直到ISO模型的应用层。例如,它可显示HTTP和FTP特定通信。现在有很多免费的开源代理服务器,例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD,这是最容易管理的代理服务器之一,并且它内置很多高级功能,例如Squid

Proxy、SSL检查、防病毒和VPN。远程Syslog是防火墙日志的可选项,但为了输出代理服务器日志,还需要在代理服务器设置的自定义选项字段添加以下命令行:access_log
syslog:LOG_LOCAL4,这之后会进行重新启动。对于SSL检查,则需要通过Web UI安装Squid 3
Proxy软件包,SSL检查可提供hTTPS代理日志记录。

Splunk

Splunk
Light是集中日志记录的起点,它还可以为安全性运行测试数据分析程序。在注册后,它免费可供使用,并可很容易地安装在Ubuntu服务器。考虑到主机本身是虚拟化,整个服务器不会增加任何成本。另一个选择是Splunk企业免费版,它提供60天免费试用,允许每天索引500
MB数据,但在60天后需要付费转为永久Splunk企业版。

在pfSense Remote
Syslog的情况下,我们需要Splunk通用转发器来收集日志以及转发日志到Splunk索引。这个转发器可与Splunk Light
Search Head(上文所述的Web UI)相同的主机或者在单独主机上。我们可通过Splunk
Web界面来完成对这个Splunk通用转发器的数据来源和监听端口的配置和自定义。

Hadoop

数据挖掘和数据科学是目前的热门话题。对于任何想要深入研究这个问题的人来说,可以选择运行Hadoop测试服务器。通常情况下,Hadoop运行在群集配置中,但这也可以降至单节点群集,这种单台服务器将同时包含数据节点和名称节点。为了互换Splunk和Hadoop服务器之间的数据,可以下载和安装Hadoop
Connect。这需要安装Splunk Enterprise Free,并由于Splunk内的应用支持要求,它将无法在Splunk
Light运行。安装手册和视频提供在Splunk网站。

总结

总之,安全完全是关于数据。在设置这个测试实验室后,需要生成可用数据。这需要虚拟网络内的一些活动,例如通过代理服务器运行家庭LAN、在网络外围设置蜜罐或者在网络内运行模拟攻击。由于使用了虚拟组件,这个测试实验室将具有足够的灵活性以适应所要求的情况,并将能够生成很多类型的数据用于分析。

作者:Frank Siemons

来源:51CTO

时间: 2024-09-16 08:11:49

如何在虚拟环境下测试数据分析?的相关文章

在虚拟环境下配置集群及故障恢复体系

虚拟数据中心的高可用性(HA)是一个多层次的任务,它涉及到在线备份(live backup).故障恢复功能或集群等等.在本文中,将探讨如何在虚拟环境下配置集群 (cluster),建立故障恢复体系(failover structure). 虚拟化的高可用性有两个层面.我们既可以在子机层操作,依赖OS和应用灾难恢复能力:也可以在主机层操作,从而面对一系列新的问题. 在子机层执行HA配置的过程几乎与在物理机环境下一样,需要解决一些技术问题.例如,为每个虚拟网络接口设置静态MAC地址.此外,还需要突破

[收藏整理]linux下测试磁盘性能

参考:http://blog.sina.com.cn/s/blog_63ac8a6c0100g21d.html 1.DD 底层测试:从linux安装盘启动,鼠标和键盘启动后按Ctrl+Alt+F1,进入Sh模式 dd读测试 time dd if=/dev/sd* of=/dev/null bs=64k count=64k dd写测试 time dd if=/dev/zero of=/dev/sd* bs=64K count=64k 注:1)参数为bs=64K count=64k时,测试文件大小为

大数据-求大神推荐下java数据分析技术~~

问题描述 求大神推荐下java数据分析技术~~ 5,4,3,2,3有这么一串数字,我想分析出从索引为0到3呈下滑趋势,如何实现?有什么流行的分析技术?我只会java,不懂大数据什么的. 解决方案 http://www.csdn.net/article/2013-04-28/2815095-big-data-theory-to-implementation 一网打尽13款开源Java大数据工具,从理论到实践的剖析 解决方案二: 这个一般都是用图表的形式做的,,jfreechart等等

谷歌在比实际路况更大压力下测试无人驾驶汽车

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 新浪科技讯 北京时间8月22日早间消息,英国<卫报>报道称,谷歌已开发了模拟的加州公路系统"Matrix-style".谷歌将利用这一系统测试无人驾驶汽车,随后再将汽车上路. 谷歌在今年早些时候致加州政府的一封邮件中表示,希望政府允许谷歌使用这一模拟系统来进行实际的驾驶测试,并对车辆进行认证.谷歌安全主管罗恩·

iframe 自适应高度[在IE6 IE7 FF下测试通过]_javascript技巧

第一种方法: 复制代码 代码如下: <script type="text/javascript" language="javascript"> <!-- //调整 PageContent 的高度 function TuneHeight() { var frm = document.getElementById("content01"); var subWeb = document.frames ? document.frames

win7 vs2013发布的网站 传到xp下测试 有些功能没有呢

问题描述 win7vs2013发布的网站在win7下测试没问题,可传到xp下测试发现有个别功能没有了请问是咋回事?大家有没有遇到这种情况的请帮助! 解决方案 解决方案二:另外vs2013生成网站和发布网站有何区别?

DOS下测试通讯的常用命令分享(dir&amp;amp;gt;prn)_DOS/BAT

DOS下测试通讯的常用命令 dir>prn命令 dir>prn 或 dir>lpt1是在DOS下测试通讯的常用方法, 该命令将生成的ASCII文本送到指定的硬件端口. 作者 shanblue

linux系统下测试电信3G上网的方法

  我搞了套电信的3g上网装备,这一套可不便宜,连我自己都想说我自己败家,但是没办法,没有又不行,我是离开互联网就活不了的人,虽然我从不用qq,微薄-- 装备 我最后选定的装备是这样的:一只3g无线网卡,为了信号好放在窗户边,一条5米长的usb延长线,一头接网卡,一头接3g无线路由器,或者直接接笔记本.网卡我买的华为ec122,实测linux下可用,3g无线路由我买的水星的产品,内置2000毫安电池,紧急时刻可当移动电源,停电时自己可挺4个小时. 华为ec122在linux下设置是这样的,我还不

思科Tetration Analytics开启云时代下网络数据分析新篇章

思科公司在2016年6月15日正式推出了思科Tetration AnalyticsTM平台,该平台在业界率先实现了对现有大规模数据中心和云平台上的网络流量进行实时采集.存储和分析,为思科帮助用户在云时代实现网络运维的升级和自动化提供了全新视角和无限可能.   思科Tetration AnalyticsTM平台配合思科新一代基于Cloud Scale技术的硬件设备,流动在数据中心的任何一个数据包的元信息都可以被实时地记录和存储下来;同时,在基于Apache Spark.Kafka和Druid等开源