反垃圾邮件网格应用方案

  随着Internet的迅速普及,电子邮件(E-mail)逐渐成为人们进行信息交流的一种重要手段,已变成人们学习、工作和生活中不可或缺的一部分。然而,">垃圾邮件(Spam)的泛滥给互联网带来了严重问题。所谓垃圾邮件,是指不请自来的邮件(UBE: unsolicited bulk email)。据统计,在2002年初,垃圾邮件占整个邮件发送量的16%,2003年初变成42%,2004年初变成60%。Radicati集团预测,到2009年,全球因为垃圾邮件造成的损失将多达1130亿美元。垃圾邮件中除了充斥着商业广告外,还包含着色情暴力非法的成分,其传播蔓延,严重侵害了电子邮件用户的利益,影响了电子邮件服务的正常运营秩序,危害了互联网安全和社会稳定,已经成为互联网一大公害。

  目前过滤垃圾邮件的方法有:良好的用户习惯、立法、提高发垃圾邮件的成本、黑名单、身份确认、基于规则的过滤、基于贝叶斯推理的过滤等。但迄今为止还没有一种真正有效的方法,这也是绝大多数用户的电脑里虽然安装有防病毒软件,却没有安装反垃圾邮件软件的原因。

  就垃圾邮件的自动过滤技术而言,不能单纯用人工智能的方法来过滤垃圾邮件,因为人工智能目前还不是成熟技术。那么,垃圾邮件还有什么特征呢?最大的特征是:只要是垃圾邮件,它都会将相同的内容发送给数十万上百万乃至上千万的接收者。为此,我们可以建立一个分布式统计和分布式学习平台,以大规模用户的协同计算来过滤垃圾邮件:首先,我们可以为每一封邮件计算出一个唯一的“指纹”,通过比对“指纹”可以统计同一封邮件的副本数,当副本数达到一定数量,我们就可以判定这封邮件是垃圾邮件;其次,由于互联网上多台计算机比一台计算机掌握的信息更多,因而可以采用分布式贝叶斯学习算法,在成百上千的客户端机器上实现协同学习过程,收集、分析并共享最新的信息。

  要建这样一个系统,网格技术是最好的选择,这是由于:(1)垃圾邮件是发给整个互联网的,我们需要建立一个全局性的基础设施来收集垃圾邮件的信息;(2) 对每封邮件都需要进行指纹计算,因而需要有一个分布式的计算环境;(3)系统的动态性很强,所有的服务器、客户端及电子邮件都在不断保持更新,我们需要一个能够适应变化的灵活平台。

  图1 反垃圾邮件网格的系统结构

  图1显示了反垃圾邮件网格的系统结构,它包括反垃圾邮件客户端、过滤服务器和调度服务器,其中,在客户端进行邮件的数字签名计算、贝叶斯学习;过滤服务器对邮件数字签名及贝叶斯学习成果进行统计和传播;调度服务器根据客户端请求动态地分配过滤服务器。用户如果使用了我们的反垃圾邮件插件,每当收到一封新邮件时,就会自动生成一个数字签名,发给网格中的一台过滤服务器,该服务器根据全局虚拟数据库,判断该签名的重复出现次数,并返回给客户端。客户端根据这个次数,就可以知道该邮件的重复发送次数,发送次数越多,它是垃圾邮件的可能性越高。然后再结合分布式贝叶斯算法,就可以比较准确地识别出垃圾邮件,并将出现假阳性错误的可能性降到接近0。

  利用网格技术的分布式统计功能实现大范围内垃圾邮件的过滤,尚未见到有关文献的报道。它体现了真正的网格思想,每个加入系统的用户既是服务的对象,也是完成分布式统计功能的一个信息节点,随着系统规模的不断扩大,系统过滤垃圾邮件的准确性也会随之提高。用大规模统计方法来过滤垃圾邮件的做法比用人工智能的方法更成熟,它不容易出现误判假阳性的情况,实用性很强;分布式贝叶斯方法是传统贝叶斯方法与网格环境相结合的产物,它将单点学习过程分布化和协同化,缩短了学习的时间,共享了学习的经验。这两种手段的结合,是在现有主流反垃圾邮件方法的基础上的升华提高,具有实际应用价值。

  综上所述,反垃圾邮件网格通过分布式统计和分布式贝叶斯学习,利用分布互联网里的千百万台主机协同工作来构建一道拦截垃圾邮件的“天网”。该方法可以大大提高垃圾邮件的识别率,同时避免将合法邮件误判为垃圾邮件,有可能使通过技术手段有效解决垃圾邮件问题成为现实。

时间: 2024-07-31 11:03:30

反垃圾邮件网格应用方案的相关文章

远离垃圾侵扰 全面了解各种反垃圾邮件解决方案

自2000年后,互联网技术飞速发展,邮件技术已经逐步成为了现代社会最重要的沟通工具之一.然而,予生俱来的是垃圾邮件对邮件用户的侵扰:到2006年末,这种侵扰已经成为公认的最大的互联网应用威胁之一.有许多数字让人触目惊心:每天全球产生的垃圾邮件达1000封:用户收到的邮件之中,有94%是垃圾邮件:美国.中国是全世界最大的两个垃圾邮件生产国家和消费国:中国网民每周收到的垃圾邮件数平均达到了19.4封.这些垃圾邮件充斥着各种非请求的商业广告.色情与反动内容.政治敏感话题传播.甚至计算机病毒与恶意代码,

反垃圾邮件防火墙与防毒墙

目前,计算机安全领域新的名词越来越多,防火墙,防毒墙--随着垃圾邮件越来越猖獗,美国最大的反垃圾邮件厂商博威特网络公司推出了梭子鱼垃圾邮件防火墙产品,这个产品不仅能够准确地阻断垃圾邮件,而且能够很好地实现邮件防毒墙的作用,同时还具有抵御攻击的能力,成为国际上最畅销的反垃圾邮件硬件产品.而这个产品与防火墙及防毒墙到底有何异同呢? 垃圾邮件防火墙 垃圾邮件防火墙,就是只对邮件数据包进行过滤的防火墙.它关心的只是邮件,只负责侦听25端口(SMTP协议也就是邮件协议的端口)的数据包.有些垃圾邮件防火墙还

反垃圾邮件技术解析

1.概述 电子邮件是最常用的网络应用之一,已经成为网络交流沟通的重要途径.但是,垃圾邮件(spam)烦恼着大多数人,近来的调查显示,93%的被调查者都对他们接收到的大量垃圾邮件非常不满.一些简单的垃圾邮件事件也造成了很有影响的安全问题.日益增加的垃圾邮件现在会造成1年94亿美元的损失(来自chinabyte上一则新闻的数据),在一些文章表明,垃圾邮件可能会花费一个公司内每个用户600到1000美元. 垃圾邮件随着互联网的不断发展而大量增长,不再像以前一样,只是小小的一个骚扰,现在的垃圾邮件可以说

企业反垃圾邮件应牢抓管理

以下的文章主要描述的是安全管理探讨之企业 反垃圾邮件重在管理,常言道:好马配好鞍,红花绿叶衬,龙井茶要用虎跑水一样.一个企业的迅 速发展需要每一位员工各司其职.各尽其责.反之,一个成功的工程师也需要一个体制健全的企业做后台.工程师张先生所在的企业对技术与信息化建设比较重视,因此,企业安全设备部署也比较完善.古谚语道:好马配好鞍,红花绿叶衬,龙井茶要用虎跑水一样.一个企业的迅速发展需要每一位员工各司其职.各尽其责.反之,一个成功的工程师也需要一个体制健全的企业做后台.工程师张先生所在的企业对技术与

反垃圾邮件防火墙的核心技术分析

垃圾邮件的来历和技术根源 SMTP协议本身是一个简化的邮件递交协议,缺乏很多必要的身份认证,这是SMTP协议造成垃圾邮件泛滥的原因之一.由于SMTP协议中,允许发信人伪造绝大多数的发信人特征信息,如:发信人.信件路由等,甚至在通过匿名转发.开放转发和开放代理等手段后,可以近乎完全的抹去垃圾邮件的发信人特征.目前,绝大多数的垃圾邮件都伪造了其真实的发信来源,这对于发现制止垃圾邮件的传播造成了很大的困难. SMTP协议还缺少一些必要的行为控制,不能有效的甄别正常的邮件发送和垃圾邮件发送行为,这是造成

迁移Exchange 2003的反垃圾邮件设置

目前,微软提供一个名为Anti-Spam Migration Tool的工具,将Exchange Server 2003中的广告过滤设置安装到Exchange Server 2007的部署中.这对Exchange管理员来说是个好消息-因为重新部署时,你就不会丢失所有你曾细心定制的反垃圾邮件配置! 微软的Anti-Spam Migration Tool从已安装的给定Exchange 2003活动目录(AD)实例里读取反垃圾邮件设置,然后将这些设置转化为PowerShell脚本.当这个脚本运行在Ex

选择反垃圾邮件产品应考虑几个方面

我们都知道,在网络安全中,垃圾邮件问题是非常普遍的问题.那么对于一个企业来说,垃圾邮件的干扰总是令人烦恼.那么我们在选择一件反垃圾邮件产品的时候,应该注意一些什么呢?垃圾邮件产品的面世在一定程度上解决了企业垃圾邮件威胁企业网络安全的问题,就在企业纷纷拿出预算准备购置反垃圾邮件产品的同时,问题又出现了.究竟什么样的产品才是一个优秀的产品,购买之后才能够足以应对企业面临的安全问题呢? 评估反垃圾邮件产品成熟性: 垃圾邮件过滤已从简单的关键字搜索和域阻挡发展到全面.综合的检测机制.许多解决方案采用先进

反垃圾邮件联盟黑名单服务

实时邮件黑名单服务作为一个目前行之有效的对抗垃圾邮件泛滥的服务,已经在国外得到了 大量的使用.很多民间的或官方的 反垃圾邮件组织都推出了它们的实时黑名单,以供用户选择使用.实时黑名单的原理是,根据人工或机器的分析判断,判断一个IP地址是否是一个垃圾邮件源,从而将其列入黑名单中.用户的 邮件服务器可以通过查询黑名单来决定是否接受来自该地址的邮件.在判断是否是垃圾邮件源方面,多数是按照该地址发垃圾邮件的数量和该地址发垃圾邮件的性质(如,主动恶意发送.被动利用发送等)来判断.虽然一个地址可能除了发送大

掌握反垃圾邮件“秘笈”治标又治本

中介交易 SEO诊断 淘宝客 云主机 技术大厅 从互联网诞生之日起,似乎就与垃圾邮件有了"不解之缘".中国仅次美国之后,是全球第二大垃圾邮件受害国,其危害举不胜举.垃圾邮件以其数量多.反复性.强制性.欺骗性.不健康性和传播速度快等特点,占用大量传输.存储和运算资源,造成邮件服务器拥堵,严重影响正常的邮件服务. 垃圾邮件忍无可忍 防御骚扰已成共识 自从垃圾邮件在我国大规模蔓延以来,网民好像就被拖进了一场看不见对手的较量中,各种各样的广告.花边新闻等总是能通过层层防护,钻进我们的邮箱.据美