如何从海量数据中挖掘威胁情报?

本文讲的是 :  如何从海量数据中挖掘威胁情报?  ,  【IT168 编译】正如有些有见地的员工所指出,“威胁情报”是还没有明确定义的令人困惑的概念。如果你到处问问“什么是威胁情报?”,你会得到各种对解决方案和服务的描述,从恶意软件数据库到签名检测工具和IDS/IPS系统,再到现场咨询服务等。

  然而,在乍看之下,这两个词一起看似乎立刻有了意义。“情报”即收集关于某物的详细信息,而“威胁”就是你收集关于什么的信息。当你在谷歌搜索“情报搜集”,定义很明确:

  在最广泛的形式中,情报收集网络是指这样一个系统,即通过这个系统收集的关于特定实体的信息通过使用一个以上相互关联的来源而让另一个人受益。

  从网络的角度来看,对可能威胁你的业务、网络、软件、web服务器等的信息的收集是很有价值的。那么,为什么网络威胁情报这么难以获取?对于初学者来说,是不是几乎所有安全工具或网络防御活动都是威胁情报机制?同时,如果是这样的话,企业如何利用来自四面八方的数据来采取任何形式的行动?答案是“是”以及“不是那么容易”。事实上,现在大多数企业很难从威胁情报中获取真正的价值。

  网络安全领域的大多数解决方案会测量、追踪、日志记录或报告事件。所有这些工具和流程会产生数据,这些数据可以进行分析而产生“威胁情报”。这些工具会产生大量数据,而且是很低水平的数据,换句话说,关于任何实体的信息都是非常冗长、复杂,且很少相互关联。

  更重要的是,很少有企业部署了强大的描述性-预测性-指令性分析功能来整理这些数据,以及支持最高业务层面的决策过程。这些威胁数据并没有标准模式或者联系网络活动到资产或业务操作。因此,并没有决策支持系统可以支持数据挖掘活动来回答典型的描述性问题,例如“在过去六个月是什么对企业造成最大的伤害?”或者更成熟的问题,“我们的哪个技术投资具有最高的投资回报率,以及哪些技术投资带来负面影响,哪些可能会构成威胁?”

  信息太多

  企业如何清除这些噪音而获取真正的价值呢?通过遵循一个简单的公式即可。还记得我们在学校学过的勾股定理吗?a2 + b2 = c2?这是几何的基本定理。还有麦克斯韦方程?热力学第二定律?傅立叶变换?或者其中最有名的,爱因斯坦的相对论,E=mc2?这些公司帮助我们制造了太多信息,太多数据。这些公式同样带领我们到了现在的时代,雷达、电视、喷气式客机、电子邮件、互联网以及社交媒体。

  输入一个简单的公式可以帮助获取有效的网络威胁情报而不只是收集威胁数据:

  Risk Intelligence = (High-Level Threat Intelligence + Context) * Continuous Data Collection/Intuitive KPIs

  威胁情报=(高级别威胁情报+背景知识内容)*连续数据采集/直观的KPI

  诚然,这并不是“真正的”公式。但它确实提供了同样强大的功能。换句话说,它可以帮助企业消除数据噪音,让看似无关的数据带来真正价值,带来切实可行的解决方案。

  在上面的公式中,我们可以将通过从各种来源收集和转译的低水平的威胁数据,转变为到分析师可以理解的高水平语言。通过存储这些数据并赋予其与你的企业、行业、技术相关的特定背景知识,以及威胁会如何影响你的企业,数据就可以进行分析。

  从这个公式来看,简单的分析通常就能够产生需要的结果。使用传统的关键绩效指标(KPI)业务智能结构,企业可以使用这个公式创建简单而强大的分析。例如,在金融领域,典型的KPI包括利用率、利润对收益率、现金流、净乘法器和积压量。当随着时间的推移,这个过程会为业务领导产生重要的决策信息。

  这种kPI的概念还可以用于网络数据。最后,它们也可以产生重要的价值信息,例如,特定安全投资的投资回报率或者企业是否有足够的安全人员来实现特定的安全目标。应用简单的威胁情报公式来处理原始威胁情报可以产生有用和有价值的结果。

原文发布时间为:2015年7月6日

本文作者:邹铮

原文标题 :如何从海量数据中挖掘威胁情报?

时间: 2024-11-23 16:02:38

如何从海量数据中挖掘威胁情报?的相关文章

【2016阿里安全峰会】风声与暗算,无中又生有:威胁情报应用的那些事儿【附PDF下载】

一年一度的阿里安全峰会创立于 2014 年,每年在7月举办,今年已是第三届,今年于7月13-14日在北京国家会议中心举办.阿里安全峰会旨在促进亚太区信息安全行业发展,为本地区信息安全组织.信息安全专业人士和决策者搭建一个信息交流展示平台,探讨当前安全行业的最佳实践.热点议题.信息安全人才培养.新 兴技术与发展趋势等,会议聚焦云安全产业.电商金融支付安全创新,关注互联网移动安全应用,共同建设互联网安全生态圈,以推进网络空间安全建设,为网络世界蓬勃发展做出贡献力量.2016 阿里安全峰会设立12个分

企业共享威胁情报?困难远远比想象中多

从理论上来说,共享威胁情报是一件很有意义的事情.但在互联网安全领域,这件「美好的事情」要实现并非那么容易. 美国国土安全部三月份的时候部署了自动指示共享系统(Automated Indicator Sharing),无论是私人组织还是公共组织都可以在该系统中进行威胁情报的交换.可以看出美国国土安全部的初衷是好的,在这样的系统中可以加快信息分享和传播的速度,帮助各种类型的企业和组织在威胁刚出现时做好及时的防护工作. 有很多信息安全专家也表示,网络威胁情报信息给组织带来很大的价值.但如果去探究共享过

Threatbook合伙人李秋石:具有中国特色的安全威胁情报

 WOT2015"互联网+"时代大数据技术峰会于2015年11月28日于深圳前海华侨城JW万豪酒店盛大揭幕,42位业内重量级嘉宾汇聚,重磅解析大数据技术的点睛应用.秉承专注技术.服务技术人员的理念.DBA+社群作为本次大会合作方,将通过图文直播为大家全程跟踪报道这场技术盛宴.    在安全圈提起"威胁情报",可谓无人不知无人不晓.什么是威胁情报?威胁情报是一种基于证据的知识,包括了情境.机制.指标.隐含和实际可行的建议.威胁情报描述了现存的.或者是即将出现针对资产的

网络攻击折射威胁情报重要性

最新研究显示,三分之一被访公司认为其网络安全防御机制壁垒森严,足以抵抗任何网络入侵;然而,出现过网络安全漏洞的公司中,有八成后悔其没有在遭遇攻击前就安装威胁情报防御平台. 波耐蒙研究所发布的2015网络威胁情报报告显示,通过调查693名网络和网络安全决策者发现,他们对网络安全工具价值的理解及其实际应用之间存在巨大的鸿沟. 68%的受访者认为,威胁情报防御平台所带来的好处大大超过其本身价格,近半数受访者转而选择正式的威胁情报防御系统来提升其安全防护机制.49%的受访者依靠付费的威胁情报防御系统,因

“预知能力的超人” 细数威胁情报那些事儿

今年五月,全国信息安全标准化技术委员会按照GB/T 1.1-2009规则起草的国家标准<信息安全技术 网络安全威胁信息表达模型>开始进入征求意见阶段,北京启明星辰信息安全技术有限公司应邀成为模型起草单位.此项标准的制定意味着网络安全威胁情报将打破现有环境束缚,走向有国家标准的正轨,形成适合威胁情报发展的最佳秩序. 打破先手优势的超人--威胁情报 棋盘上的黑白子之争,先手自带优势,后手难免受掣肘,安全攻防之战也是如此.不法攻击方不单可以在暗中观察.旁敲侧击,更有突发先手进攻的优势,防守方事前无法

解惑|威胁情报指南

虽然网络世界里有些人觉得威胁情报是新晋流行词,其实情报在我们身边已经很久了.政府早已利用情报在外交上.战场上.对抗恐怖主义上占据优势.公司为获得竞争优势,攫取市场.销售和财务商业信息,也纷纷应用情报战术.情报的概念行之有效,久经考验. 网络威胁情报(CTI)也是同样的概念--理解行为人.威胁.态势.风险,以及所有这些元素之间的相互联系,只不过,限定在网络世界而已.对收到.执行或计划执行的威胁情报设立适宜的期待,有助于抽取威胁情报的完全价值,避免掉进常见陷阱.在威胁情报是什么,不是什么,以及为谁服

威胁信息和威胁情报有啥区别?

本文讲的是威胁信息和威胁情报有啥区别?,成品情报,是威胁信息纳入.评估和商业利益导出的结果. 网络威胁情报领域,混淆一直存在(很多还都是厂商弄出来的),威胁信息往往被当做了成品情报. 虽然情报过程从威胁信息收集开始,但信息收集仅仅,仅仅只是个起始点而已.从大量获取信息,到产出成品情报之间,还有好长好长的一段路要走,二者之间简直是质的不同. 散布图中各处的1000个点,那是信息.但以某种形式连接各点显示出上下文和关联度(我们称之为"经评估的情报"),那就是情报了.这些情报可用于为未来攻击

威胁情报:知识就是力量

本文讲的是 威胁情报:知识就是力量,多年来,机构和企业已经在各种各样的安全解决方案上投资巨大.因此弄清楚已经在安全技术上做了哪些投资是十分重要的,这样才能看清这些安全技术所带来的益处以及可能面临的挑战.最初的重点应该是在防火墙和入侵检测系统(IDS)上进行投入来保证外围安全,另外还要通过投资反病毒解决方案保证终端安全,保护用户群. 防火墙和IDS的问题在于它们需要持续的更新和大量的人工干预,而且对未知或零日攻击视而不见.反病毒解决方案和定期扫描的问题在于它们通常漏报那些隐藏属性的恶意软件威胁.尽

威胁情报在甲方安全运维中的应用

前言 很多企业使用 SIEM 来收集日志数据,并将安全事件与多类安全设备(入侵检测设备.Web应用防火墙等)日志相关联,指导安全人员进行风险处置.然而 SIEM 也存在局限,监控人员往往被淹没在海量的告警之中无从下手,原因之一就是对于威胁的告警没有处理的依据,例如缺乏经验的监控人员很难判定一条安全事件告警是扫描还是针对性攻击引起的(通常后者需要更多关注).而通过借助于威胁情报,可为监控人员提供处理依据,也可为安全人员在进行日志分析和攻击溯源时提供有力帮助. 在本文中,来自证通股份有限公司的安全管