雷锋网(公众号：雷锋网)宅客频道按：最近，你的女朋友对你爱答不理，不仅微信回复的越来越慢，就连你沉迷于“农药”游戏也不再批评。于是，你开始慌了，难道她也迷上了“农药”？还是说她正在给你织一顶帽子，绿色的？
如何从女朋友的反常行为中找到蛛丝马迹，然后抽丝剥茧，找到女朋友变冷淡的元凶？这，是一个难题。
其实，企业也面对相似的问题：如何从海量的告警之中发现真正的威胁，使得监控人员能够及时处理，一直是一个难题。本文作者从公司内部的实际案例出发，详细讲述了威胁情报在甲方安全运维中的应用。
本文作者：证通白帽子
很多企业使用 SIEM（安全信息和事件管理） 来收集日志数据，并将安全事件与多类安全设备（入侵检测设备、Web应用防火墙等）日志相关联，用来指导安全人员进行风险处置。然而 SIEM 也存在局限，监控人员往往被淹没在海量的告警之中无从下手，原因之一就是对于威胁的告警没有处理的依据，例如缺乏经验的监控人员很难判定：某一条安全事件告警是扫描还是针对性攻击引起的（通常后者需要更多关注）。而威胁情报不仅可以为监控人员提供处理依据，也可以为安全人员在进行日志分析和攻击溯源时提供有力帮助。
本文将基于 Splunk（一款机器数据引擎），介绍威胁情报在甲方安全运维中的应用。
什么是威胁情报？
根据 Gartner 的定义，威胁情报是指基于一定知识的证据，已经存在或正在形成的潜在威胁，比如，上下文、机制、指标、意义以及可实施的建议，利用这些，可以帮助当事人形成应对这些危险的决策。
针对攻击者的威胁情报应该包含以下要点：
- 攻击者身份：威胁情报需要能够帮助企业将攻击、恶意活动最终溯源至相应组织（网络犯罪团体、黑客、政府/国家机构等）。
- 攻击的原因：了解对方动机，以及他们会在攻击中投入多少精力（APT或仅是投机型攻击），针对性有多强等。
- 攻击的目的：了解攻击者的目的，对于企业和组织基于资产重要性调整响应优先级也是有意义的。
- 具体做法：包含了攻击者所用的工具、基础设施等。
- 攻击者的位置 ：结合对方所在国家，以及其地缘政治状况，能够帮助企业和组织更好地理解对方情况。
- 如何组织情报：包括 IOC 一类的技术指标（比如IP地址、哈希值等）提供的信息可用来更准确地检测和标记恶意行为。
- 如何缓解攻击：企业可用以保护自身的信息。
系统架构
在我们公司，Splunk 主要被用来收集各类安全设备、操作系统、应用系统日志，从而满足安全监控、安全告警、数据分析的需求。
安全设备的日志通过 Syslog 发送，其余存放于操作系统文件系统中的日志通过在客户端操作系统安装 Splunk Forwarder 收集。
通过日志字段提取，我们利用 Splunk 实现了基本的报表和告警。然而正如前文提到的，我们很快就被告警淹没，无论如何调整告警阈值都无法令人满意，于是开始寻找解决方案，通过一系列的选型比较，我们最终决定引入来自微步在线（ThreatBook）的第三方安全情报数据，以 API 的形式与 Splunk 整合。
需要注意的是——威胁情报数据的用量通常是有限制的（如按月计量），因此我们部署了前置系统作为本地威胁情报库，用以缓存查询结果，同时，我们还顺带实现了专供内部使用的 Web 交互查询界面，后来又顺路实现了威胁历史信息的记录：所有产生过告警的威胁都会被记录，并且可被关联搜索。如下图所示：
威胁情报分析界面图，威胁情报数据来自微步在线ThreatBook API
随着威胁情报数据的应用，我们逐渐信任了数据的准确度，并开始研究威胁 IP 自动阻断方案。由于在网络建设时并没有这个需求，因此我们的首要目标是：在网络中寻找是否有串联设备支持通过调用 API 的方式来达到 IP 阻断的目的。最终，我们在一台抗 DDoS 设备中发现了这个功能，并按照手册要求的数据格式实现了接口调用。
系统架构示意图如下：
技术要点
日志字段提取
日志字段的提取是最基础，也是最重要的步骤，后续所有的工作都是基于正确的日志字段提取之上。
Splunk 提供了傻瓜式的字段提取功能，只要展开任意事件，点击“事件操作”，选择“提取字段”即可进行提取，提取完成后可自动生成正则表达式。
对于一些比较复杂的日志格式，Splunk 的自动化提取可能就力不从心了（又或许你对自动生成的正则表达式嗤之以鼻），我们可以手写正则表达式，并在“设置-字段-字段提取”中保存。
Splunk 的字段提取
对于临时使用的需求，也可以在搜索中使用 rex 命令对事件应用正则表达式：
rex field=some_field "(?<capture_name>.*)"
对于一些以键值对形式输出的日志，可通过 extract 命令进行提取，十分方便：
extract kvdelim="=" pairdelim=";"
威胁情报库查询
威胁情报库的查询使用了 Splunk 的 lookup 命令，通过给 lookup 命令传递一个查询值从而获得对应的查询结果。
lookup 的典型使用场景之一是根据日志中的 IP 地址来查找对应的资产：由于日志中不包含资产信息，而我们又希望通过 IP 地址快速定位到相关资产信息，此时就可以建立一张资产表，上传至 Splunk，在“设置-查找”完成配置后，即可通过 lookup 命令进行搜索。
lookup asset_table ip_addr AS dst_ip OUTPUT asset_info
而在使用 lookup 对威胁情报进行查询时，则需要用到“外部查找”功能，原理类似于动态生成一个查找表文件。外部查找功能需要调用命令和参数，Splunk 的默认安装中提供了一个名为“dnslookup”的外部查找，可以用来参考实现自己的外部查找。
威胁情报查询外部查找脚本的部分实现代码如下：
威胁情报查询语句如下：
stats count by client_ip server_ip | lookup iplookup ip as client_ip OUTPUT info as _TI | spath input=_TI
此处首先使用了 stats 命令统计事件数据，随后使用 lookup 命令对统计完成的数据进行威胁情报查询，这样的处理方式可避免重复的查询，降低系统和网络开销。最后，将 lookup 命令查询返回的 JSON 格式数据使用 spath 命令解析。
威胁情报数据解析
对于 IP 的威胁查询接口，一个恶意的 IP 通过 API 查询返回的示例数据如下：
{"response_code":0,"hit":{"expired":false,"detected":true,"info":["zombie","idc","compromised","spam"]},"ip":{"carrier":"1and1.com","ip":"82.165.37.26","location":{"country":"德国","province":"德国","lng":"10.454150","city":"","lat":"51.164181"}}}
字段说明如下：
有了字段信息，我们需要把 JSON 字符串解析后再进行下一步判断。Splunk 提供了 spath 命令，可以将此前 lookup 返回的内容作为 spath 的输入，并最终输出解析完成的数据。如下图所示：
防火墙自动阻断 API 调用
防火墙的 API 调用和触发通过 Splunk 的“搜索、报表和告警”实现。通过在 Splunk 中创建定时任务，对一定时间窗口内的日志进行分析，结合威胁情报数据返回判断结果，以此为依据决定是否触发阻断脚本。
应用场景
所有的技术问题都已解决，后续的工作只剩下两块：利用威胁情报数据丰富现有查询结果，以及使用新的思路实现原本无法实现的效果。
我们为此前所有与来源有关的告警都添加了威胁情报信息，监控、安全人员在第一时间就可以大致评估事件的严重性。
优化模型
有了 IP 地址威胁情报数据之后，我们可以用这些数据帮助评估当前面临的安全威胁的严重程度，并以可视化的方式呈现出来。实现方式为：以一定维度（如时间、IP 地址、类型等）聚合安全事件，对聚合的事件做基于 IP 地址的威胁情报查询，随后套用特定的模型并呈现。
自动阻断
威胁情报也为威胁程度的判断提供了依据，通过定时任务，当发现高危威胁且威胁来源 IP 地址符合预定义的条件时，即触发脚本调用防火墙 API，实现黑名单 IP 地址的网络层自动阻断。
DNS
我们也使用了威胁情报提供的域名威胁情报查询功能，在 DNS 服务器中开启了 DNS 调试日志并转发至 Splunk，对匹配的恶意域名解析请求可及时告警。同时计划实现将恶意域名自动解析到本地的功能，以最大限度避免威胁的扩散。
结语
目前我们在威胁情报的应用还处于摸索阶段，只发挥了其中一小部分的能力。从威胁情报信息的分类角度，威胁情报除了 IP 地址情报、DNS 情报，还可提供文件哈希情报等信息；从威胁情报的要素来说，我们当前只使用了攻击者身份、攻击者位置等基本信息。相信如果更全面地利用这些信息，可以为安全从业者们提供全新的安全视角、更广的安全视野，甚至会对工作方式、工具产生革命性的提升。
本文作者：周翔
本文转自雷锋网禁止二次转载，原文链接