大数据如何反恐
Intetix Foundation（英明泰思基金会）由从事数据科学、非营利组织和公共政策研究的中国学者发起成立，致力于通过数据科学改善人类社会和自然环境。通过联络、动员中美最顶尖的数据科学家和社会科学家，以及分布在全球的志愿者，我们创造性地践行着我们的使命：为美好生活洞见数据价值。
摘要：本文综述了结合文本挖掘、机器学习和网络分析的大数据工具和技术如何进行安全威胁预测、检测以及早期预防。
原作者：Khushbu Shah、DeZyre
原文链接：http://www.kdnuggets.com/2015/12/big-data-science-security-fraud-detection.html
恐怖主义、欺诈、网络犯罪和其他秘密在线活动已经成为目前的新闻头条，最近又在巴黎和贝鲁特发生了恐怖袭击。安全机构当下的迫切任务就是完全根除恐怖主义。对于ISIS、基地组织和博科圣地组织等恐怖组织来说，恐怖主义早已成为一项业务，并构成全球性威胁。他们的目标是制造死亡和破坏。这些组织正在激化年轻的在线一代。ISIS通过成功的宣传，广播其令人毛骨悚然的成功，从社交媒体平台如Facebook、Twitter上征募青少年，运用技术和西方媒体工具发动战争。如何制裁类似于ISIS的恐怖组织、网络犯罪和欺诈？好家伙——技术上强大的“大数据和数据科学”已经准备好了。
大数据分析工具和技术，结合文本挖掘、机器学习以及本体建模，已成为进行军事安全威胁预测、检测和早期阶段预防的第一道防线。如今大数据和数据科技，通过改进协作和数据分析，减低了情报调查过程的繁琐程度，以便机构更轻易地检测到国家安全威胁。随着企业机构从使用传统的防火墙和端点供应商转移到采用大数据和云解决方案，FBR资本市场报告，2015年“下一代网络安全支出”增加了20%。
恐怖分子训练有素，装备精良，财力雄厚。这就意味着，安全机构应借助大数据来进行预测分析，来赢得与网络恐怖主义的战役。基于潜在恐怖行为的海量数据，包括参与极端的在线交谈、不寻常的购买、迁入冲突地区、于其他极端倾向的关联等数据从各处收集而来。安全和情报机构正在利用实时分析，通过连接这些不寻常的行为，跨越不同系统，归纳数据模式。
保安公司正在使用一些创新的数据可视化和数据挖掘技术，从大数据中归纳数据模式,从而打击网络间谍、恐怖分子和黑客。这些公司正试图充分利用大数据和数据科技，鉴定可疑的行为模式，识别有可能发生的威胁，以此来检测欺诈和其他许多可疑的犯罪活动。
应用网络安全研究中心主任Fred Cate说，“如果你有足够大的数据集，总能在里面找到东西。我们有理由相信，你能够获得的数据越多，就越有可能会发现一些有预测价值的东西。”
大数据分析有助于跟ISIS斗争吗?
社交媒体渠道拥有各种恐怖组织相关的信息；政府当局使用这些资源，可以在全球范围内识别会造成严重威胁的事件。大数据可以击倒ISIS，但是以一种间接的方式。关于ISIS组织，没有可用的直接信息，但数据可以帮助安全机构，确定给该组织融资和提供供应的是谁、支持该组织的人有哪些、谁正在向组织提供武器，及类似的数据要点。使用各种大数据和数据科学技术，可以挖掘和处理所有这些数据。
在最近巴黎袭击之后，佛罗里达大学助教Taha Mokfi为了解全球各地的人们怎么看待巴黎恐怖事件，挖掘推特上的数据；于2015年11月15日，从推特账户上摘录了20万英语推文。包括#伊拉克、#穆斯林、#ISIS、#叙利亚、#沙特阿拉伯在内的众多标签都被考虑其中，以此产生标签云和情绪评分。应用数据科学的R编程语言，绘制图表，确定和解析#巴黎袭击标签和其他相关标签之间的关系。
大数据和数据科学主导技术针对安全和欺诈检测的应用
1.大数据管理系统在阿布扎比预防恐怖主义
顶级安全专家从向阿布扎比自治系统投资Tawazum公司提出了建立一个大数据管理系统的新型安全观。大数据系统将对流入政府当局数据库的所有数据进行审核，以此来防止任何类型的网络犯罪或恐怖活动。这些庞大的数据系统，运用统计数据模型，相应地筛选数据。澳大利亚、美国和英国已经在使用这种大数据系统。这种系统协助政府评估群众对社交媒体上任何问题的感受。在阿联酋引进这类大数据系统，可以预防反对派团体使用社交媒体来组织抗议活动和恐怖袭击。
2.使用Tableau软件识别恐怖主义
ISVG（暴力组织调查研究所）用Tableau数据可视化工具，审查了10年间参与极端主义、跨国犯罪和恐怖主义的个人和团体的相关数据。ISVG每周使用Tableau生成各种不同的报告，并将它们发送给世界各国国防部官员，来检测任何可疑的和不寻常的数据模式。
该研究所IT和分析部门的协调人John Hitzeman说道，“我们可以立即得到所需数据，并且能够回答我们之前从未想过要询问的问题。了解主要恐怖分子阵营的模式和特征，已经帮助国防官员做出决策，拯救生命。”
3.欧洲政府开发POLE数据模型来存储和记录事件
如果这个模型早一点开发的话，3个女孩从伦敦前往叙利亚加入ISIS的事件，本来是可以避免的。三个女孩中的一个，是在Twitter上和另一个女孩联系的，后者加入ISIS的意图已为当局所知。一个用于存储和记录可疑集体和事件的POLE（以人、对象、地点和事件为基础）数据模型的大数据解决方案已经被研制出来。在系统中被记录的人（集体），可以被多次连接到其他各种事件或人物，以此来建立一种关联网络，这样我们就可以追踪到可疑的人。这种数据可以实时快速检索和更新。
4.使用机器学习和分析预测在线欺诈
美国大数据公司EMC网络安全装备RSA使用机器学习和先进的大数据分析方法，防止网络诈骗。8年之内，他们发现了大约50万次袭击，其中一半是在2012年被识别出的。RSA以色列运营部弃用了基于规则的欺诈检测系统，转而使用一个以贝叶斯推理为技术支持的更能自我提高的系统。
任何RSA客户每次通过网上银行进行交易，20个影响因素就会被存储在AFCC（反欺诈控制中心）的数据库中。所有这些20个因素，汇集并入150项欺诈风险特征，每个风险特征是两个或更多的20个被记录因素的组合。例如，MAC地址和IP地址的组合比仅仅IP地址，可以更好地预测欺诈。
英国宇航系统公司的数据情报装备Detica,通过使用先前被忽视的各种数据科技，实现类似的技术来识别更顽固的威胁。
5.马里兰大学开发算法来预测恐怖组织虔诚军的攻击
在印度和巴基斯坦之间进行运作的恐怖组织虔诚军，制造了2008年孟买爆炸事件。马里兰大学推行类似于亚马逊预测客户行为的数据挖掘分析算法的解析技术，对恐怖组织虔诚军进行计算分析，从该恐怖组织20年的活动中挖掘出770个变量数据。
通过使用770个变量的月度数据，安全机构能够确定各种因素，比如，在各种地缘政治局势中有哪些不同类型的恐怖袭击，有哪些造成袭击事件频繁发生因素，恐怖组织如何选择他们的袭击位置，等等。这项由马里兰大学LCCD（计算文化动力学实验室）开发的专有项目，与另一个时态概率规则系统项目一起，从国防部那里获得了60万美元的资金支持。
6.微软公司使用强大的数据挖掘系统识别安全威胁
微软的研究人员开发出定制的数据挖掘系统，已剔除了运行Windows网络的各种机构发送来的大约100万的恶意文件、3.2亿份预警报告、以及2.5亿份威胁报告。微软分析师对最普遍的威胁进行分类和排序，然后将此信息与其防病毒伙伴即迈克菲(McAfee)和赛门铁克(Symantec)共享，这有助于微软分析和打击网络犯罪。
打击恐怖主义的重心是采用先进分析和数据科技进行实时分析，以负责任的方式共享数据，并从产生的大量数据中提取有价值的信息。遵循这些步骤，可以帮助安全机构和其他情报机构追踪在线诈骗、网络犯罪、以及在线和离线的恐怖主义活动。
本文转自d1net（转载）
