威胁情报基础:爬取、行走、分析

过去我们所理解的威胁情报就是“威胁数据→SIEM(安全信息与事件管理)→安全保障”,而这个过程中只有少数东西需要分析。Rick Hollan在2012年的一篇博客《我的威胁情报可以完虐你的威胁情报》中就曾提醒我们“这是一条错误的轨道”,他写道:

“只有当你的机构具有自我开发的能力时,才称得上具有真正的威胁情报。”

现阶段,我们可以利用很多已有的威胁情报,并掌握我们如何在内网中更好的利用威胁情报。而这要求我们具备一个对威胁情报的基础了解,以及他们究竟是如何在安全操作环境起作用的。本文旨在帮助对威胁情报感兴趣的人,理解威胁情报和情报分析基础。

  威胁情报水平的安全操作:爬取

在决定将威胁情报整合到安全操作之前,公司最好先构建一个以不同方式有效利用威胁情报的框架。

传统中的情报水平即战争中的策略、运作及战术。产生这样对应关系的原因如下:它有助于识别各个层次的决策者;它能识别情报的目的,无论是既定政策、计划中或是检测、组织一次攻击活动;它能够在获得情报后帮助决策者拟定适当的行动。

在所有情报级别中,关键是针对组织进行专门的价值评估。请回答一个问题:“这些信息要如何添加到我们的安全项目中?这些信息对我们做决定有什么帮助?”

战略情报(Strategic intelligence)

战略情报指的是告知董事会与业务部门的情报。这能帮助他们更好地理解他们所面临的趋势,并达成有益发展的策略。战略情报来自更为长期项目的趋势分析,常常采用了例如DBIR和CRS(国会研究服务)的报告形式。战略情报帮助决策者洞悉哪种威胁对业务及公司未来产生最大影响,以及他们应当采取何种措施缓解这些威胁。

运用战略情报的关键是将这些情报融入公司的优先级、数据以及攻击表面中。没有任何商业或年度趋势报告能够告诉你什么是最重要的、某种威胁趋势可能会影响到你。

战略情报和所有其他情报一样,是一个工具,有助于进行未来决策,但无法帮你直接作出决定。

作战情报(Operational Intelligence)

作战情报提供的是针对一个组织特定攻击的相关情报。它源于军事行动的概念——即一系列发生于不同时间或地点的计划、活动,却具有相同的攻击目标。因此它能概括出攻击活动的目标是整个部门,或是黑客针对某个特定机构进行的攻击。

你可以在信息共享和分析中心(ISAC)与组织(ISAO)获取作战情报。

作战情报是面向更为高级的安全人员,而与战略情报不同的是,它需要在短期或者中期内采取必要行动,而非长期。它会在一下情况中发挥作用:

1、 是否增加安全意识培训;

2、 在一次明确的“作战”过程中,如何分配SOC员工;

3、遭遇特殊情况时,是否可以临时拒绝防火墙的请求。

作战情报信息共享是一个非常好的选择。如果你发现一些近期内会影响他人的“东西”,请及时共享出这些信息。它能够帮助其他公司决定是否采取必要行动。

只有当情报获取者有权变更政策或者采取措施应对威胁时,作战情报才真正有用。

战术情报(Tactical Intelligence)

战术情报关注于攻击者的行为意图是“什么”(IoC)以及采取了“怎样”的(战术、技术和程序)检测、阻止攻击行为。攻击者是否倾向于使用特定方法获得初始访问权限,例如社会工程或者漏洞利用?他们是否使用了特定工具或提权手段?你通过哪些IoC发现异常活动?Herman Statman的威胁情报列表为查询战术情报提供了详实的资料。

战术情报主要是面向活跃监测周围环境的安全人员,他们收集来自员工报告的异常活动或社会工程尝试等信息。战术情报也可以用于寻找攻击活动,我们试图从普通用户行为中区分出攻击者。这种情报类型需要更多先进的资源,例如广泛的日志记录、用户行为分析、端点可见性以及训练有素的分析师。由于一些指标可能在第一次出现时没有被员工捕获或警告,因此具备安全意识的员工同样很重要。通常你拥有的员工数量要比攻击感应器多……所以,听从你的员工、训练他们、收集他们提供的信息,分析之后就采取行动吧。

战术情报提供了特定但是易逝的信息,安全人员仍可采取应对行动。

了解威胁情报在不同层面上的运作,有助于公司进行决策,同时帮助公司决定如何处理未来的情报。从你组织内部搜集的情报永远是可执行性最强的情报。

厨子、裁缝、士兵、间谍:情报利用分为多种类型

正如前文中详细提到的,情报出现在不同的操作层,企业可以利用不同类型的情报有效应对面临的威胁。

不要笑——对于“情报”解释得最出色的便是“CIA儿童区”(美国中央情报局针对六至十二年级少年的官方科普网站)。

他们将情报细分为一下几种类型:

科学和技术:提供关于对手技术和能力的信息;

动态:关注日常事件及其影响;

警示:对于紧急事件给予注意,并发布通知;

估测:关注可能发生的事情;

研究:为某事件提供了一个深入的研究。

虽然大多数机构并不会同时使用所有类型的情报,除非你和CIA一样(但是请别告诉我你做了什么),那么了解这些不同类型的情报以及他们提供的内容很有必要。不同类型的情报需要多样的人员分析和时间差异。例如技术情报很容易实现自动化,因此可以随节奏而产生。然而像威胁趋势研究,则非常依赖于人的分析。

  技术情报

在信息安全操作中,通过技术情报来探查对手的能力和技术。它包括一些例如IP和C&C地址及域名、恶意文件名称和hash值在内的许多细节,以及一些TTP细节,像是针对某个特殊目标的漏洞或者一个用于指引植入的特定回调模式。

技术情报最常用于“机器对抗机器”的行动中,只是因为需要机器处理尽可能多的信息。机器通常并不关心人在意的内容,因此在许多情况下,技术情报并不涵盖太多内容。防火墙并不用清楚封锁某个恶意域名的原因,它只要去照做就行了。而在防火墙另一端的人或许想要知道,因此可能触发大量警报。企业必须在消费之前进行技术情报分析,否则最多也只是获取数据或者信息,而非情报!想了解更多,可以去阅读Robert Lee的文章《数据VS信息VS情报》。

如果你并不使用自己生成的技术情报,那么你必须清楚技术情报的来源以及如何将它们运用于分析,特别是自动化分析。此刻,我感到自己独自在这里乱言:通过“机器对机器”的自动化方式生成威胁情报……先不要说我错了,做些分析再说吧!

动态情报

动态情报处理的是每天可能需要立刻做出反应的事件和情况。我曾听人这么说,“新闻才不是情报”,这的确是真的;然而,当需要对你的特定机构、网络或者活动进行分析时,公共领域新闻就成了威胁情报。

举个动态情报的例子,报道说一个开发工具三天前集成了一个新的漏洞利用工具。通常按照30天补丁的周期而言,你在27天内可能遭遇攻击。知晓这一威胁会如何影响你的组织、如何进行检测并封锁恶意活动便是一种动态情报。动态情报也可以从组织网站的信息中获取。分析一次入侵或者针对高管的钓鱼攻击同样也能产生动态情报,这点则急需立即执行。

当你的网络生成动态情报时,要记录下它们!这可以用于后续的情报趋势及威胁环境分析研究。同时,还能与其他组织共享这份情报。

威胁趋势(估测)

在战术层面(技术情报、动态情报)收集到的所有情报都可以分析进而生成威胁趋势。威胁趋势的获取需要时间,你需要随着时间进行模式分析,观察事物如何变化或者保持原状的。威胁趋势能够是某种反复影响网络的特定威胁分析,也可以是对一个组织或恶意软件家族的分析。与威胁趋势更直接相关的其实是你的网络或者组织,这点对你而言更有帮助。

威胁趋势让我们避免从一个分析中得出错误的预测或未来威胁的误报。

威胁形势研究

说起趋势,威胁分析长期重视时效性,动态情报需要通过长期的战略研究进行积累。与战术情报资源相比,社群中我们拥有多少战略层、技术性IOC(输入/输出控制器)。又存在多少新项目专注于提供“实时情报”和“深入分析”。原因当然包括没有足够的分析师进行这些工作,而他们通常关注于对时间比较敏感的时间。此外,我们常常没有足够正确的数据进行战略层的分析,同样是因为我们并不习惯从自己的网络中搜集数据,而大多数人不愿意分享战略型威胁,只愿意分享那些威胁对他们实际造成影响的信息。

我们需要改变这样的局面,因为你不能也不应该在未来安全项目中忽略战略的重要性,你也不能在没有理解其背后的逻辑时匆忙制定安全策略。威胁形势研究是指在环境中进行长期威胁分析——他们的攻击是什么、他们如何进行攻击、你又该如何对这些威胁进行相应——这些都影响着你的策略。你从网络中收集的战略层信息并进行基于网络日常活动进行的分析都归属为威胁形势研究。你以及公共领域信息的动态情报都可以服务于威胁形势研究。BRID建立了一个用于捕获和分析这些信息的框架叫做VERIS(事件记录与共享表单)。记住一点,这类情报分析需要大量时间和精力,但是一切都是值得的。

信息共享

当前共享IOC及其他技术信息变得尤为重要,然而在本文中我们所探讨过任一类型的情报都很适合分享,以最佳实践和流程进行信息共享会有意想不到的收获。

在一个组织的网络中共享信息不失为理解新威胁的一种好方式,同时还有益于提升态势感知能力。信息共享本质上就是产生具有威胁警示作用的情报。当信息共享越来越自动化,这也就意味着掌握的信息更海量。想要了解更多,可以观看Alex Pinto最近在威胁情报有效性测量方面的研究。

即使现在你仍对从你自身环境中收集情报的价值存有疑虑,威胁情报的消化仍然需要你去分析、去了解它为何与你有关、你又该采取哪些行动。对于不同类型情报的理解及使用方式可以指导你进行分析和决定。

安全操作中的情报分析

在本系列的前两个部分中,我们介绍了情报的框架:情报的分级(战略情报、行动情报、战术情报)和情报的类型(技术情报、趋势情报、长期情报等)。不论情报的等级、类型如何,对情报分析的需求是不变的。

分析是情报最为重要的部分,它调用数据然后将其转化成为我们决策提供依据的情报。

分析:失落的碎片

我们十分擅长情报收集、处理及传播工作,却容易遗漏情报周期中大量的重要部分,导致警报未触发、错误预警过多,误导用户。

说起来容易,但是真正开展情报分析工作却是一件困难的事情,尤其在诸如网络威胁情报等新兴领域尤为如此。模型和方式可以帮助我们理解情报分析的过程,但即便是确定模型的种类也绝非易事。存在很多相似模型,它们在不同场合发挥了不同的作用。

那么问题来了:什么是分析?

情报分析的目的是为了减少不确定性、提供威胁预警以及为决策提供支撑的信息评估和解读。美国前国务卿鲍威尔对“情报”给出了最精简的概括,即“让我知道你掌握的,让我了解你不知道的,告诉我你在想什么。对这三者保持清楚的区分”。

借助自己或他人收集的信息,分析师通过这些已知材料进一步区分出哪部分需要继续采集,而哪些可以作为参考,然后决定他们运用信息的方式。

在你展开分析之前,你应当明确情报分析的目标是什么。理论上需求取决于领导、客户或者其他类型的用户,但是在在很多情况中客户对自己的需求并不非常清楚。因此,理解公司对于威胁情报的需求非常关键,第一步就是要搞清楚问题所在或值得探讨的地方。

分析模型

一旦了解情报分析需要解决的问题,就着手从不同分析模型中选择出最佳模型进行分析。这里列出了一些比较有用的资源,可以帮你了解那些常见的威胁情报模型。

不同的模型可以为不同的目的服务。SWOT方法更适合于实施更高级别的分析,通过与对手的比较发现自身存在的优势和不足。F3EAD、Diamond Model(钻石模型)、Kill Chains模型都可以用于分析的具体指令或不同事件与指令之间的关联。Target Centric Intelligence是一种比较少为人知的模型,但它不仅能帮助我们了解某一事件,还能加强情报决策者、收集者、分析者等相关部门的协作,从而避免在情报处理的过程中重复、信息不共享或常见的误传等情况。

·SWOT (Strengths, Weaknesses,Opportunities, Threats)

·Find, Fix, Finish, Exploit, Analyze,Disseminate by @sroberts

·Target CentricIntelligence

·Diamond Modelfor Intrusion Analysis

·Analysis ofAdversary Campaigns and Intrusion Kill Chains

关于情报收集,还要注意这些

通常情报分析结果取决于初始信息的质量。通过训练,情报分析员有能力对信息来源进行评估,以便掌握该信息是否因为主观因素而影响了可靠性。在开展网络威胁情报分析工作时,我们还是主要依赖于其他渠道收集的数据而非第一手信息。这也是为什么要在自有网络中进行信息分析的重要原因之一。

此外,作为团队成员要确保信息的透明,以便其他人进行情报分析。这样或许暴露了消源或获得手段,但我们仍然需要在保护信源和情报得到充分利用之间取得平衡。

本文转自d1net(转载)

时间: 2024-09-20 00:32:14

威胁情报基础:爬取、行走、分析的相关文章

php实现爬取和分析知乎用户数据_php实例

背景说明:小拽利用php的curl写的爬虫,实验性的爬取了知乎5w用户的基本信息:同时,针对爬取的数据,进行了简单的分析呈现. php的spider代码和用户dashboard的展现代码,整理后上传github,在个人博客和公众号更新代码库,程序仅供娱乐和学习交流:如果有侵犯知乎相关权益,请尽快联系本人删除. 无图无真相 移动端分析数据截图 pc端分析数据截图 整个爬取,分析,展现过程大概分如下几步,小拽将分别介绍 curl爬取知乎网页数据 正则分析知乎网页数据 数据数据入库和程序部署 数据分析

php爬虫:知乎用户数据爬取和分析

背景说明:小拽利用php的curl写的爬虫,实验性的爬取了知乎5w用户的基本信息:同时,针对爬取的数据,进行了简单的分析呈现.demo 地址 php的spider代码和用户dashboard的展现代码,整理后上传github,在个人博客和公众号更新代码库,程序仅供娱乐和学习交流:如果有侵犯知乎相关权益,请尽快联系本人删除. 无图无真相 移动端分析数据截图 pc端分析数据截图 整个爬取,分析,展现过程大概分如下几步,小拽将分别介绍 curl爬取知乎网页数据 正则分析知乎网页数据 数据数据入库和程序

PHP爬虫之百万级别知乎用户数据爬取与分析_php实例

这次抓取了110万的用户数据,数据分析结果如下: 开发前的准备 安装Linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu: 安装PHP5.6或以上版本: 安装MySQL5.5或以上版本: 安装curl.pcntl扩展. 使用PHP的curl扩展抓取页面数据 PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库. 本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问.当我们在浏览器的页面中点击一个用户头像链接

PHP爬虫:百万级别知乎用户数据爬取与分析

这次抓取了110万的用户数据,数据分析结果如下: 开发前的准备 安装Linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu: 安装PHP5.6或以上版本: 安装MySQL5.5或以上版本: 安装curl.pcntl扩展. 使用PHP的curl扩展抓取页面数据 PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库. 本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问.当我们在浏览器的页面中点击一个用户头像链接

用php做爬虫 百万级别知乎用户数据爬取与分析

这次抓取了110万的用户数据,数据分析结果如下: 从结果可以看到,知乎的男女分布为61.7和38.3%,对于一个知识型.问答型的社区来说,已经很优秀了,女生再多一点的话,知乎差不多都可以做婚恋社区了,开个玩笑. 对了,在<爬了3000万QQ用户数据,挖出了花千骨赵丽颖的QQ号> 一文中,我们可以看到,除了没有填写姓名的用户外,QQ空间的男女比例为56%和23%.这个数据可以作为一个参考.且不论女性多少,但看男性用户,知乎只比QQ空间少了5%. 从职业分布来看,知乎用户中,从事互联网行业的用户是

【2016阿里安全峰会】风声与暗算,无中又生有:威胁情报应用的那些事儿【附PDF下载】

一年一度的阿里安全峰会创立于 2014 年,每年在7月举办,今年已是第三届,今年于7月13-14日在北京国家会议中心举办.阿里安全峰会旨在促进亚太区信息安全行业发展,为本地区信息安全组织.信息安全专业人士和决策者搭建一个信息交流展示平台,探讨当前安全行业的最佳实践.热点议题.信息安全人才培养.新 兴技术与发展趋势等,会议聚焦云安全产业.电商金融支付安全创新,关注互联网移动安全应用,共同建设互联网安全生态圈,以推进网络空间安全建设,为网络世界蓬勃发展做出贡献力量.2016 阿里安全峰会设立12个分

微步在线发布威胁情报云开放计划

北京时间9月14日,威胁情报领军企业微步在线正式发布威胁情报云开放计划.通过该计划,微步在线将向更多安全企业开放核心威胁情报能力,助力业内形成"安全智能,情报驱动"的安全生态.加入微步威胁情报云,安全产品即可实现情报与设备的双向联动,进一步提升产品的安全能力. 什么是威胁情报云开放计划? 自成立以来,微步在线很荣幸收到大量威胁情报能力共享的合作需求.我们认为,在安全智能化时代,安全产业需要形成合力,建设全覆盖的智能网络安全生态体系.微步在线一直致力于提供以威胁情报为核心的安全能力,是国

微步在线携CnC威胁情报及威胁分析平台亮相网络安全宣传周

2016国家网络安全宣传周已于9月19日在武汉国际博览中心盛大开幕.本次宣传周由中央网信办.教育部.工信部.公安部.新闻出版广电总局.共青团中央等六大部门共同举办,宣传的主题是"网络安全为人民,网络安全靠人民".中共中央政治局常委.中央书记处书记.中央网络安全和信息化领导小组副组长刘云山在开幕式上发表讲话,认为网络安全和网络发展是相辅相成的,应该坚持网络安全和网络发展同步推进.微步在线作为中国网络安全产业联盟的会员单位,在威胁情报领域的技术能力和重要地位受到了联盟的肯定,此次作为优秀成

快速识别重要威胁:威胁情报与SIEM的结合

ThreatConnect是威胁情报代表性企业之一,著名的钻石模型理论提出者.ThreatConnect近期发布了一份报告,讲述企业如何通过威胁情报平台来增强SIEM/SOC的安全能力,以便更全面的理解威胁.消除误报,形成主动.智能的防御体系.小编带您一起具体了解下这份报告的内容. 1. 从SIEM的本质出发,它是用来做什么的?有哪些局限? 安全信息与事件管理系统(SIEM)在国内我们通常更倾向于称之为安全运营中心(以下简称SOC),主要用于发现整个企业中的趋势和态势,从多种事件和具有上下文信息