超越黑名单,运用机器学习检测恶意URL

山石网科技术团队受邀在Blackhat Asia 2017上发表演讲,以下为论文简介:

许多类型的现代malwares使用基于http的通信。与传统的AV签名,或系统级的行为模型相比,网络级行为签名/建模在恶意软件检测方面有一定的优势。在这里,我们提出一个新颖的基于URL的恶意软件检测方法行为建模。该方法利用实践中常见的恶意软件代码重用的现象。基于大数据内已知的恶意软件样本,我们可以提炼出简洁的功能模型,代表许多不同的恶意软件中常用的相似性连接行为。这个模型可以用于检测有着共同的网络特征的未知恶意软件变种。

我们专注于HTTP连接,因为这个协议是最主要的恶意软件连接类型,用僵尸控制网络连接,得到更新和接收命令后开始攻击。检查在http连接层次的特征已被证明是一种来检测恶意连接的有效方式。

在山石网科的下一代防火墙设备中,我们有算法使用静态黑名单和特征签名来检查连接域名,URL路径和用户代理以确定是否恶意。结合DGA域检测的机器学习算法,我们取得很好的恶意URL检出率。然而,最复杂和富有挑战性的部分是查询URL字符串连接的动态内容。因为这些字符串非常多样化,几乎可以是任何东西,导致静态签名规则变得不那么有效。参数的变种和进化使签名生成费时。它还需要签名库为新连接特性执行频繁的更新。

我们这个演讲谈到的新颖的聚类算法是非常高效的,这个算法不仅可以检测已知的恶意URL,并且也能检测到从未暴露(0-day)的新变种。这个模型对来自于大约每周10 k更新的恶意软件样本的800000 url运用机器学习。

原文发布时间为: 2017年3月31日

时间: 2024-10-28 22:38:40

超越黑名单,运用机器学习检测恶意URL的相关文章

TensorFlow 开发者峰会将于今晚举行;维基百科使用AI机器学习算法来检测恶意评论 | AI开发者头条

TensorFlow 开发者峰会将于今晚举行(美国时间) 雷锋网获悉,第一届TensorFlow Dev峰会将于2017年2月15日在加利福尼亚州山景城举行,到时TensorFlow团队将会做相关的技术访谈和演示,整个活动将持续一整天,同时,整个会议还将在Google开发者论坛.YouTube上进行直播,给不能到现场的开发者提供第一手资料. 会议时间:2017年2月15日 会议地点:加利福尼亚州山景城 活动详情:https://events.withgoogle.com/tensorflow-d

tomcat如何拦截恶意url

问题描述 tomcat如何拦截恶意url http://localhost:8080/ddd/&(aaa)((%27%5c043context%5b%5c%27xwork.MethodAccessor.denyMethodExecution%5c%27%5d%5c075%5c043foo%27)(%27%5c043foo%5c075false%27))&(%27%5c043_memberAccess%5b%5c%27allowStaticMethodAccess%5c%27%5d%27)(

能逃避机器学习检测的 Cerber 勒索变种

摘要 CERBER勒索家族已经被发现通过一种新技术来逃避检测:使用了一种新的方法用加载出来的程序来逃避机器学习检测技术.其被设计为把一个二进制文件掏空,然后把CERBER的代码替换进去,再使用其他手段加载运行. 行为分析 勒索软件通常通过电子邮件传播,这些新的CERBER变体也不例外.电子邮件里面可以用各种各样的程序进行勒索软件的传播 . 比如邮件里面包含一个链接指向一个自解压的文件,该文件已经上传到攻击者控制的一个Dropbox账户里面,被攻击目标接着就会自动下载然后打开里面的程序,将会入侵整

宝马公司承认存在客户黑名单曾被投诉恶意维修

资料图.中广网北京3月21日消息 据经济之声<天下公司>报道,今年的3月15日的一大早,北京的刘正先生在自己的白色宝马车身四周,贴上了写有"拒绝宝马黑名单"的横幅,慢慢地开着这辆车在大街上行走,吸引了无数的目光,不少市民拿出手机拍照传上微博.据报道,刘正之所以这么做,是因为他和宝马公司之间存在一起长达几个月的纠纷.去年9月,刘正将车送往北京星德宝宝马5S店进行喷漆维修,后来发现内饰地毯出现不明破口,座椅底下还发现一块桔子皮.在与星德宝沟通过程中,对方员工几次提到他已经上了&

高考诈骗网站激增40% 百度安全一键检测恶意网址

中介交易 SEO诊断 淘宝客 云主机 技术大厅 再有十天,2014年的高考大幕就将拉开.目前,考生和家长已进入最后冲刺阶段,但每年这个时节也是骗子借高考之名大肆行骗之时,百度安全中心今日发布高考预警,鉴于目前各类打着"高考"旗号实施的网络欺诈行为,各位考生及家长务必要端正心态,切勿抱任何侥幸心理,免得一时不慎步入骗子精心布下的陷阱. 2013年5月,北京市民王先生在网上浏览与高考相关的信息时,就曾误进入一家名为"全国高考指导联盟"的网站,由于该网站声称可为有意上进的

asp.net下检测远程URL是否存在的三种方法_实用技巧

复制代码 代码如下: private void Page_Load(object sender, System.EventArgs e) { string url1 = "http://s.jb51.net/"; string url2 = "yun_qi_img/logo.gif"; Response.Write("<li>方法1:"); Response.Write(url1 + " 存在:" + UrlExi

D1net阅闻:国家大数据创新联盟成立

国家大数据创新联盟成立 由我国14个大数据国家工程实验室参与单位联合组建的"国家大数据创新联盟"成立,共有76家研究机构和企业自愿加入联盟. 谷歌称Gmail通过机器学习,拦截垃圾和诈骗邮件准确率达到 99.9% 谷歌称Gmail通过机器学习,拦截垃圾和诈骗邮件准确率达到99.9%.目前Gmail系统收到的邮件中50-70%都是垃圾邮件,Google的这套检测模型还将与安全浏览器集成,用于检测恶意URL链接,同时对邮件进行更详细的网络钓鱼分析. NVIDIA与服务器制造商合作推进AI云

趋势科技推出中小企业安全无忧软件9.0

近日,全球虚拟化及云计算安全领导厂商趋势科技宣布,正式推出中小企业安全无忧软件9.0(Worry-Free Business Security,简称WFBS 9.0).WFBS 9.0是专为小型企业及中小型企业量身定制的一体化安全解决方案,全新版本的WFBS 9.0包括网络安全版.邮件与网络安全版.云端版,通过移动设备安全支持.高级URL过滤检测.防网络钓鱼.防木马蠕虫.防间谍软件.防数据泄露.U盘智能防毒.上网行为监控.病毒爆发阻止策略等一系列高级防御手段,协助中小企业用户应对总部和分支机构网

Google 开放URL的黑名单 供屏蔽恶意的站点

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 Google发布了一个API,允许其他应用程序利用它的恶意URL数据库来屏蔽站点,开发人员可以利用API处理程序访问相关站点的情况,以避免恶意代码侵扰.Google 宣称该API仍然处于"实验"阶段,并需要时间去更新这一服务,建议用户注册以获得一个Key来帮助开发者做出改进. 目前Google的blacklist已经运用在