阿里云建跃:WAF,一场惊心动魄的搜捕

蒙恬北筑长城,却匈奴七百余里。

守卫家园的人,永远把自己写成一首诗。

陵谷沧桑,如今太平盛世。边关宁息商旅往来,曾经的金戈铁马退隐成一道道海关闸口。而在这一道道闸口旁,坐着那些火眼金睛的边检警察。

去过米国的同学都会记得,边检警察用各种脑洞问题来盘问你,就是为了确保你没有扯谎。虽然我们大多数都是祖传“良民”,但这种经历还是多少让人有点小紧张。

在赛博世界里,每一个网站就像是一个国度,同样有人负责负责把守海关闸机,这就是 WAF。

从科学角度讲,什么是 WAF 呢?

WAF 的中文表示是:网站应用防御系统,这也许是互联网中最早的防御系统。它可以通过规则来判断一个请求究竟是“好”还是“坏”。从最早的软件,到硬件盒子,到云 WAF,十几年的历史中,无数网站依靠这种自动化的识别方式,抵御了大量恶意入侵。

在上海云栖大会上,我见到了阿里云 WAF 的掌舵人建跃。我得知阿里云 WAF 最近在大中华地区销量达到了第一位,而本身全中国有37%的网站服务坐落在阿里云上。根据数据推算,阿里云 WAF 充当了数百万网站的“门神”,从这一点上来看,建跃还颇有点像当代的蒙恬。


建跃

(一)WAF 和美国海关
纵然每个美国边境警察都配了一双全高清高分辨钛合金火眼,但是美国境内依然会有非法移民。显然,他们中的很大一部分就是从边境警察眼皮底下溜进美国的。这不得不说是一种尴尬。

WAF 同样面临这种尴尬。“来的都是客,全凭嘴一张。”遇到“演技派”的坏人,防火墙系统有时确实会放过。难怪很多安全专家所说,“WAF 生来就是被绕过的”。
建跃觉得,WAF 显然不是万能的。但如果没有它,就会出大问题。

首先,当有 0Day 漏洞来袭的时候,WAF 真的是有用。0Day 漏洞的爆发往往猝不及防,而且在爆出之后几小时之内,各路黑客就会在全网发起海啸一样的攻击。因为你在后台不可能如此快速地修复漏洞,必须在前面竖起一道高强,在第一时间挡住利用这个 0Day 进攻的大潮。

其次,对于普通的 web 攻击,一个好的 WAF 可以抵挡其中的 95%-99%。这种情况下,WAF 的作用并不是杜绝黑客的攻击,而是大大提高攻击者的成本。他必须不断“改进”攻击技术,提高攻击花费,才有可能骗过 WAF。直到有一天,黑客攻破一个网站需要付出的努力和成本接近甚至大过收益,他自然就会放弃。

最后,即使有漏过的恶意请求,WAF 也可以根据不完整的判断,提示用户此处有风险。一旦引起管理员的注意,黑客攻破网站的成本就会陡然增加。

他说。

回到美国海关的比喻。纵然边检警察经常把打黑工的外国人放进自己的领土,但从全局来看,他们遣返的“风险人士”显然更多。如果没有他们的第一道防线,恐怕美国早已被各路移民占领,移民局连遣返都遣返不过来。

(二)算法大神:不错杀,不放过
2014年,建跃接手 WAF,要把原本用于阿里云内部安全的能力商业化,简单来说就是做成产品卖出去。

事实上,早在2012年,阿里云各路安全产品的商业化就已经开始,只不过,WAF 产品成型的过程几经坎坷,连基本的构架都三次改易。

换句话说,阿里云爆炸式增长,其实也超越了建跃和同事们的预期。他们猛然发现,如果和云计算紧密结合,其实可以把 WAF 做得更“炸裂”。于是直到2016年阿里云 WAF 才和世人见面。

这么炸裂的阿里云 WAF,究竟有神马过人之处呢?

建跃如数家珍:

传统的 web,只有基于正则的规则匹配。简单说来,有一个 0Day 漏洞爆发,只需要写一条规则,干掉利用这个漏洞的代码,就成功了。
但是阿里云 WAF 却需要更多的数据,这些数据根据不同网站的业务而不同。

他举了一个例子:

如果有一个电商网站,正常商品的价格都在100-1000块浮动。突然有一天有一个商品变成了“0元”,那么很可能这个数据就是被人为伪造的。

如果一个商品所有人都没有访问过,只有几个特定的 IP 访问,那么这也很可能是被刻意制造的“假象”。

有了这些数据,接下来聚光灯就照到了阿里云安全的算法工程师们身上,他们需要打开脑洞,设计出一套套算法。

简单来说,符合一些数据特征的请求,会被算法工程师标记为“黑”,于是这类请求就会在下次被拒绝,或者重点关注。每套算法都像一个海关通道,每个请求就像一个人。从一头进入,被认为是“良民”的请求自动放行,有问题的直接扣住。

(三)污点罪人和全网追捕
不要看一个人说什么,而要看他做过什么。

女孩们用来判断男友是否靠谱的金科玉律,同样适用于判断危险的互联网请求。

每个请求背后都可以追溯到一些发起人的特征,例如:

IP 归属地
URL 中的特殊参数
UA 里面的特殊标记
POST 的内容
发起请求的设备(设备指纹)

总之,如果请求的发起人有过“前科”,那么根据 WAF 的算法,很可能将他以后的请求直接拒之门外。

这大概就像在地铁口盘查群众的警察叔叔使用的公民信息系统,轻轻一扫,你之前抄作业,欺负女同学的前科就赫然在列了。

举个例子,如果一个 IP 被认定做了非法的行为,那么所有受阿里云 WAF 保护的童鞋,都会免遭它的“二次伤害”。

建跃说。

这大概就像对于一个通缉犯的全网追捕,只要在警察叔叔的布控体系下,在哪里露面都会遭到无情的拘捕。

除此之外,还有一种场景。

电影里的老刑警,通过观察一个人的行为举止,就可以八九不离十地判断他心里究竟有没有鬼。在赛博世界,这个规则同样适用。

好的 WAF 规则就像一个“老刑警”。如果某个 IP 或者设备表现异常,就会被识别出来,例如,一个 IP访问了某个金融网站。这本是无可厚非的行为。但是如果查看历史数据发现,这个 IP 只访问金融网站,那么这就绝对不是一个正常的用户行为。

再财迷的人,也不可能每天只刷自己的银行账户吧。。。

这样的账户同样会被列入异常名单,有算法会对它进一步筛查。

建跃举了一个不久前他刚刚经历的案子:

某航空公司,深受黄牛困扰,每次系统放出折扣机票,就会被瞬间抢光,但是仔细调查发现,抢票的人并不是真正的用户,而是黄牛党。他们囤积机票,高价卖出。一旦有人确定购买,他们就利用自动化程序在航空公司网站上进行退票,在同一瞬间再为真正的乘机人重新购票。以迅雷不及掩耳之势完成机票倒手。

在这个黑产中,我们没有办法用传统的方法来揪出黄牛,因为他们的请求频率很低,就像正常用户一样,每小时甚至每天才发送一个请求。但是我们依然可以通过行为模式来判断其中大多数的刷票 IP,例如他们登录网站以后,并不会随便逛,而是直捣黄龙,直接购票,而且没有丝毫比对,犹豫。通过这种算法,我们定义出一批黄牛党,然后在接下来的一个小时的周期内对他们的 IP 实行封禁。

如果一小时以后,这些 IP 的行为还是异常,就会重新进入“小黑屋”,如此往复。

用这种方式,航空公司的恶意黄牛流量被拦截了86%,虽然这个数据距离完美还有很长的路要走,但是每多拦截1%的恶意流量,就能为航空公司节省无数的费用。

(四)正邪对决一秒间
建跃说,目前阿里云 WAF 能做到的是,每隔一小时就基于最新的数据升级一次算法。相比之下,传统的“盒子” WAF,最多每周或者每月进行一次规则更新,就显得相形见绌。
作为阿里云 WAF 的掌舵人,建跃抓紧一切机会向我安利云 WAF 的好处。说到底,云 WAF 的好处可以总结为:“天下武功,唯快不破。”

因为 WAF 在云上,所以实际上没有“部署”的过程,只有“接入”的过程,所以无论服务器是否在云上,在哪家云上,服务器体量有多大,服务器是否快速增减,都不会对 WAF 的部署速度产生影响。

同样因为 WAF 在云上,所以背后有足够强大的数据和计算力。一旦生成新的规则,就可以瞬间对用户的数据进行重新计算。

无数好莱坞大片告诉我们,正邪较量,往往决胜于一秒间。

在网络那一端,不是小绵羊,而是心狠手辣阴险狡诈的黑产和黑客。每晚一秒封堵,他们就可能刷多一百张票。每晚一个小时拦截,他们就可能多窃取几千条用户信息。

这不是好莱坞大片,这是残酷的现实。

说到这里,建跃想起了另一个事情:

有一家保险公司,经历了从传统 IDC 机房迁移到云的过程。在刚开始接入时,他们对跑在云上的防护系统还是不放心,于是决定先用观察模式。也就是说,只报警,不拦截。

他们用了大概两个小时去验证,果然可以拦截以前没有发现的入侵行为,而且似乎没有对正常业务造成影响。同样我们也会介绍,我们上线任何一条规则都会通过历史数据去验证规则的误杀情况,确保没有问题,再灰度上线。看到我们比较靠谱,对方决定经过简单的灰度测试之后,全面部署。

(五)码农和雕塑家
WAF 所做的一切,其实就是描述一个正常的人。
我们通过一条条规则,逐渐框定出他的样貌,然后不断地微调,精准。

建跃说。

这大概就像一个雕塑家的追求。刻刀冰冷,却能修饰出动人的脸庞。

我曾经是一个随遇而安的人。很少决定自己想要做什么。就连当年选择计算机专业,都是学计算机的表哥推荐的。但只要把任务交给我,我就会尽全力把它做到极致。也许正因如此,他们才把 WAF 交给我吧。

对于竞争激烈的安全市场,尤其是军阀混战的 WAF 市场,能拿到如今的市场份额,称得上建跃口中的“极致”。

不过看起来他丝毫没有功成名就的姿势,每天忧虑的还是怎么提高 WAF 的能力和用户体验,一副苦逼脸。

采访临近结束时,建跃对我说:

原来,我可能像很多人一样庸常随性。在阿里云的六年时间,肖力、刺和云舒他们深深影响了我,现在我很明确地知道,自己想要什么。

我越来越笃定,人的一生如果有机会做一件意义非凡的事情,才算是不虚此行。

互联网正在重新塑造所有人的生活方式。在这个浪潮中,无数严重的安全问题暴露出来。仔细看来,站在这个位置的人,恰好是我。如果我付出努力,付出更多努力,也许有机会推动整个中国互联网的安全发展。

这对我来说,是一种幸运。

原文链接

时间: 2025-01-01 08:17:22

阿里云建跃:WAF,一场惊心动魄的搜捕的相关文章

贵州携阿里云建全国政府数据共享平台

本文讲的是贵州携阿里云建全国政府数据共享平台 [IT168资讯]在10月17日召开的阿里云开发者大会上,贵州省宣布"云上贵州"系统平台正式上线.这意味着贵州将成为全国首个基于云计算,建成省级政府数据共享平台的省份. ▲云上贵州 今年4月份,贵州与阿里巴巴签署了<云计算和大数据战略合作框架协议>,全面开展大数据领域的合作."云上贵州",是贵州省借助阿里云"飞天"大规模分布式计算系统打造的基础平台,实现大数据资源开放.互通.共享.该平台的

阿里云建站-CV小站

看了很多大牛的经历,发现有一个共同的特点:就是敢于分享自己的所学所感,通过撰写博客,论坛灌水,建自己的网站等方式来帮助他人. 身为小白的我也很想像那些大牛一样,有一个自己的小站来分享自己学习后的感悟,还可以来分析自己看到的段子等.所以我在这个寒假花了三个星期左右的时间来建立完善一个网站. 首先建网站需要一台能连上外网的服务器,一个域名. 我最图像处理感兴趣,又想做一个类似于D站(一有很多动漫资源,并且观看时无任何广告的网站)一样的小站,于是就通过万网,注册了www.cvxiaozhan.com这

为了生得优,活得长,安诺优达、阿里云建了“安诺云”

       云计算正在成为生物医学界的"宠儿",越来越多的BT行业机构选择拥抱云计算,走进DT时代.2016年2月1日,中国基因组行业的知名企业安诺优达基因科技与全球领先的云计算厂商阿里云宣布战略合作计划,双方将合作搭建基于阿里云服务的生物大数据分析云平台"安诺云",实现对高通量基因测序数据的快速分析.安全存储,提供生物大数据存储与管理服务以及生物.临床研究数据分析一体化服务,推动我国精准医学的进程.         根据协议,双方将本着优势互补.互惠互利.共同发

阿里云胡晓明:数据隐私保护最核心,要想做生意就得建数据中心

"阿里云每年都会进行多场云栖大会,目的只有一个,就是想把阿里云和阿里巴巴集团在面对政府企业智能化转型的观点分享给大家." 今天上海下了一场不小的雨,但云栖大会还是如约而至.作为今年的第四站,上海站的大会聚焦人工智能,并发布了阿里云相关战略和产品服务. 纵观主会加上媒体采访环节,全程听下来除了大会的主题人工智能以外,还有两个很明显的关键词--数据隐私和国际化. 数据隐私保护是我们的规则 作为时下全世界人民都在探讨的趋势,人工智能的字眼不断出现在上海站的云栖大会中.此次大会更是把它与异构计

12/08,与阿里云来场&quot;技术约会&quot;

谁要来约会? 良仓孵化器创始人, 运维帮创始人, 卓见云首席架构师, The Associate of Cognizant Technology Solutions, 自发为阿里云做了40余场技术分享的开发者, 等等 听说他们在接到一个神秘电话之后, 觉得意犹未尽,决定从四面八方赶来,赴一场"技术约会" 阿里云的各位同学,也都在紧张的筹备这场"技术约会",希望尽可能的"牵手成功": 大数据产品负责人, 阿里云全线产品用户体验负责人, 阿里云安全产

如何使用阿里云搭建个人网站

国内比较早的几个个人网站有阮一峰.月光博客等.他们都会定期的更新一些文章,阮一峰的更新频率大概在每月4篇,月光博客每天一篇.他们每天的浏览量在2万以上,每月最低收入都在2万以上.作为一个程序员,我一直想给自己找点事情做.也买过很多书,很多作者都有自己的个人网站,因此我就拿着学习加赚钱的态度在阿里云上创建了一个属于自己的网站:业余草. 目前个人网站已上线快3年了,其中发生了很多大家意想不到的的事情.这些以后再表,今天就教大家如何在阿里云上大家一个个人站点. 域名申请 首次搭建个人小站,建议购买域名

搬家阿里云,进驻云市场: 这支“潜力股”如何用情报创造价值?

安全君今天要讲一家初创公司的故事.它的"家"安在了阿里云上,也是安全君的同行和好朋友. 我们先来参观一下他们的办公室. 干净整齐的会议室 干净整齐的休息区! 干净整齐的厨房!! 恩,勤奋而专业的员工出现了, 每一个办公桌还是干净整洁!!! 恩,这位朋友就是天际友盟 这个将办公室每个角落都收拾得井井有条的创业团队,给用户提供的也是最力求精确.严谨的服务:安全威胁情报. 轻量.动态.迅速,不仅仅是天际友盟提供安全情报服务的核心,也是公司业务迅速成长的关键.目前,天际友盟为金融.通信.科技.

在阿里云上遇见更好的Oracle(一)

2003年毕业那年正好遇上非典,好不容易找到一份制造工厂的工作,凭着一点点的SQL基础进入了IT部门,在那里第一次听说了Oracle.在此之前,我对数据库的认知基本还停留在Access阶段,耳闻过一点SQL Server,据说那才是真正的数据库.然而研究了一段时间Oracle之后,就被其丰富的特性和完整的文档所吸引,决定把今后十年的职业生涯赌在Oracle DBA这个方向上. 在工作的前几年,辗转广东上海几家公司,都没有多少机会在生产环境中接触Oracle,全凭着个人爱好在业余时间折腾,也逐渐在

Gartner存储魔力象限前四,阿里云如何成为“领头羊”?

继马来西亚总理纳吉布.挪威首相索尔贝格.瑞典首相特凡·勒文亲自到访阿里巴巴后.前日,国际奥委会主席巴赫也亲自来到了这个新加入奥运会TOP合作商的年轻企业园区,与马云一同畅谈 "云上智能奥运". 就在今年Gartner发布的魔力存储象限排名中,阿里云一跃冲到第四,这样的技术实力自然能吸引到国际奥委会的关注,也由此最终成为奥运会"云服务"及"电子商务平台服务"的官方合作伙伴. 对于普通大众来说,阿里云的云存储实力位列世界四强很难有什么直接感官,但其实