IT安全的发展是围绕数据,生成、收集、收集、存储和分析数据是安全日志的重要部分,但这些大型数据集给存储和处理资源带来巨大压力。
在专业生产环境中,应该部署着良好的数据收集和分析基础设施,并有足够的资源进行可靠和稳定的设置。
然而,现实情况是,由于预算限制以及对更大灵活性的需求,安全专家通常需要在更小的环境中实施和测试数据分析及处理。幸运的是,即使预算低且时间有限,我们仍然有办法可以测试数据分析。本文中,让我们看看在小环境中有限预算情况下测试数据分析的方法。并且,让我们看看在小型环境有效运行数据分析的方法。
虚拟化
为了保持低成本以及高配置灵活性,我们应该尽可能多地利用虚拟化硬件。Vmware
ESXi是数据分析测试实验室的不错选择,Parallels、VirtualBox和Hyper-V等其他产品也可以使用。在这个例子中,我们将使用Vmware。在免费注册许可证后,这个管理程序可安装在相对廉价的硬件中—但是要注意支持的CPU要求,否则也可能会很昂贵。在管理程序上,我们可以通过虚拟网络安装和连接很多不同的虚拟主机。例如,这包括基于Linux和Unix的代理服务器、IDS和防火墙设备,以及Splunk和Syslog服务器。
代理服务器
代理服务器可提供对网络流量的可视性,并可处理流量直到ISO模型的应用层。例如,它可显示HTTP和FTP特定通信。现在有很多免费的开源代理服务器,例如ClearOS、CacheGuard和pfSense。pfSense是基于FreeBSD,这是最容易管理的代理服务器之一,并且它内置很多高级功能,例如Squid
Proxy、SSL检查、防病毒和VPN。远程Syslog是防火墙日志的可选项,但为了输出代理服务器日志,还需要在代理服务器设置的自定义选项字段添加以下命令行:access_log
syslog:LOG_LOCAL4,这之后会进行重新启动。对于SSL检查,则需要通过Web UI安装Squid 3
Proxy软件包,SSL检查可提供hTTPS代理日志记录。
Splunk
Splunk
Light是集中日志记录的起点,它还可以为安全性运行测试数据分析程序。在注册后,它免费可供使用,并可很容易地安装在Ubuntu服务器。考虑到主机本身是虚拟化,整个服务器不会增加任何成本。另一个选择是Splunk企业免费版,它提供60天免费试用,允许每天索引500
MB数据,但在60天后需要付费转为永久Splunk企业版。
在pfSense Remote
Syslog的情况下,我们需要Splunk通用转发器来收集日志以及转发日志到Splunk索引。这个转发器可与Splunk Light
Search Head(上文所述的Web UI)相同的主机或者在单独主机上。我们可通过Splunk
Web界面来完成对这个Splunk通用转发器的数据来源和监听端口的配置和自定义。
Hadoop
数据挖掘和数据科学是目前的热门话题。对于任何想要深入研究这个问题的人来说,可以选择运行Hadoop测试服务器。通常情况下,Hadoop运行在群集配置中,但这也可以降至单节点群集,这种单台服务器将同时包含数据节点和名称节点。为了互换Splunk和Hadoop服务器之间的数据,可以下载和安装Hadoop
Connect。这需要安装Splunk Enterprise Free,并由于Splunk内的应用支持要求,它将无法在Splunk
Light运行。安装手册和视频提供在Splunk网站。
总结
总之,安全完全是关于数据。在设置这个测试实验室后,需要生成可用数据。这需要虚拟网络内的一些活动,例如通过代理服务器运行家庭LAN、在网络外围设置蜜罐或者在网络内运行模拟攻击。由于使用了虚拟组件,这个测试实验室将具有足够的灵活性以适应所要求的情况,并将能够生成很多类型的数据用于分析。
作者:Frank Siemons
来源:51CTO