硅谷杂志：基于内容的网络异常信息过滤

　　【硅谷网12月3日文】据《硅谷》杂志2012年第18期刊文，虽然网络促进社会经济的发展与进步，
但是在互联网规模的不断扩大下，恶意邮件和不良网络，以及不健康网络内容的传播等都将严重影响网络健康运行。因此，对内容的网络异常信息过滤的安全保护成为人们关注的焦点。通过简要介绍网络异常信息过滤，对网络异常信息过滤模型进行分析，并设计基于内容的网络异常信息过滤系统，同时通过试验与分析证明
其实用的价值。

　　为了确保网络内容安全，主要是针对数据和社会安全信息的过滤。这种基于内容的网络异常信息过滤可以分为以用户兴趣为主的过滤和以网络安全为主的过滤。异常监测和发现网络中存在的异常行为，及时处理新的网络威胁。由于各种不健康的信息内容不仅影响到人们的正常工作和学习，还影响到了人们的身心健康。因此，对不良信息网站的监管和屏蔽过滤不良信息是确保网络内容安全的关键部分。

　　1网络异常信息过滤

　　信息过滤主要分为安全信息过滤和用户信息过滤两种，是对文档进行筛选的过程。目前网络异常信息过滤的方式有很多种，例如：网络内容分级过滤和关键词匹配过滤、文本内容过滤，以及基于URL过滤等都是通过对网络信息的分级和分类所实行的过滤方式。

　　在网络中，使计算机安全系统和信息安全流通受阻的信息称之为有害信息，也叫异常信息。为了避免有害信息造成危害，
最好的方式就是将他们的传播进行阻断。由于网络分布和海量数据的原因，人工方式是难以对异常信息自动过滤的。因此，基于内容的网络异常信息过滤所使用的技术和方式都存在许多类似，都是从源信息中分辨出所要过滤的信息，然后进行处理。其实现的方式都可以利用自动检索和分类，以及标引等方式处理。

　　2网络异常信息过滤模型

　　信息过滤属于某种系统化的方式，主要是从动态的信息流中
获取与用户需求相符的信息。与以往的信息过滤模式相比，针对网络异常信息过滤的技术更具有可扩展性和适合
大量信息与用户的规模。由于信息过滤技术能够及时为用户提供个性化的服务，因此，该技术具有较高的智能化和自动化。根据过滤系统结构可分为：基于内容的过滤和协作过滤，以及经济学过滤；根据过滤的目的可分为：推荐系统和阻挡系统；根据过滤的不同应用可分为：专门过滤软件和网络应用程序，以及其他过滤工具；根据操作主动性可分为：主动和被动型信息过滤系统；根据过滤模板所在的位置可以分为：上、下游过滤等。通过人们从网络中获取信息的过程，以基于内容的过滤和协作过滤构建一个通用的信息过滤模型，将人工信息处理映射到计算机中处理进行信息过滤。根据信息过滤模型我们可以知道，信息过滤可以分为四个阶段：信息获取和信息处理阶段、模式匹配和信息表示阶段。主要是从某以信息源中获取所需原始信息，然后根据规则剔除和提取信息最小和最大的成分，并采用一定格式来表示计算获取一定阈值后，输出到敏感信息集合中进行过滤的管理，最后对过滤的效果进行评价与反馈。

　　在一般的信息过滤模型中，信息的过滤是由原始信息转化到结构信息，然后再转化到敏感信息的过程。而在网络中，网络信息过滤主要是要处理流经网络边界的信息过滤。因此，要实现基于内容的网络异常信息过滤必须要处理对信息的获取和处理，以及模式匹配和敏感信息表示。如下图1所示：

　　

　　图1基于内容的网络异常信息过滤

　　从图中我们得知，基于内容的网络异常信息过滤模型主要包括对数据包的捕获、协议分析、VSM的构建、文档特征的提取，以及文档过滤器。其中，数据包捕获和协议分析是对网络中数据通信的监听，截获网络中与WWW和E-mail服务相符的原始数据帧，并传送到网络协议分析器中进行协议头信息的分离，提取相关数据构成文档，以文本数据形式展现；VSM的构建是向量空间模型转换成表示形式，由过滤匹配运算转换成数值运算的过滤过程；文档特征的提取和文档过滤器是通过人工标定分类、统计等方式选取最具有文档特征的数据形成的过滤规则，并通过文档特征提取对文档中的信息进行相似度计算，以确定文档的属性。

　　3基于内容的网络异常信息过滤系统的设计与实现

　　3.1系统基本框架设计

　　根据对内容的网络异常信息过滤模型的分析，系统
首先设置了URL过滤模块以达到与网址和地址库的匹配，其次，采用关键词过滤模块对异常存在的文档进行过滤，同时在内容过滤模块中，利用SVM算法与决策树理论结合的方式，设置一个多层次的SVM分类器，以实现多话题异常信息的识别。

　　词库主要有基本分词词库和一级不良词汇词库，以及二级不良词汇词库。基于内容的网络异常信息过滤的实现主要是通过对支持向量机分类器的改进，其中，分为两个部分：训练部分和过滤部分。前者是对文本内容的提取和分词等进行预处理，然后利用处理后的文本样本构造新的均衡样本空间作为SVM的训练样本，并结合C-KNN完成对样本的裁剪，以获取SVM分类器；而后者主要是通过对SVM函数的组合进行的内容过滤。

　　3.2网络异常信息过滤系统模块的设计

　　首先，设置文档预处理模块和构造VSM模块。实现对网络文本内容的提取和操作，并对文本信息进行分词后构造特征库，其训练的样本由VSM表示。其次，设置训练样本生成模块和训练模块，以及URL过滤模块。通过构造新的均衡样本，由样本空间直接输入到训练模块中，当系统处于初始化状态的时候，利用C-KNN与SVM结合的方式将信息和训练文档训练并形成过滤型，URL匹配过滤。最后，设置关键词过滤模块和内容过滤模块。由简单的关键词匹配方式过滤URL中的异常词汇网页，通过训练利用SVM分类器对内容进行分析、记录和过滤，为过滤做出决策。

　　3.3基于内容的网络异常信息过滤系统实现

　　防火墙是最早发展起来的、最成熟的和最有效的网络安全技术之一，也是实现起来最简单的实现方法之一。在对网络安全的要求越来越高的今天，它仍然是网络安全技术研究的一个重要的方向。防火墙对数据、资源以及用户声誉可以进行很好的保护；是用来
防止黑客接近本地的设施，限制人们从一个特别的控制点进入和离开；阻止黑客对本地计算机系统进行破坏的一种装置。内网和外网之间就是防火墙的安装位置，内网通常是受保护的网络，外网通常被看作是Internet。然而，全球都在迅速发展和广泛应用因特网，因特网越来越庞大，越来越多的设备和网络都与它联网，这样就又产生了新的问题。

　　基于内容的网络异常信息过滤系统最主要是从网络信息采集、网络信息预处理两方面来实现的。前者是主要是以过滤获取流经网络边界信息流为条件，通过网络底层信息获取技术在数据包捕获和网络协议分析的基础上实现相关文本内容数据提取。在网络中，通过直接绕过系统的处理机制完成对网络底层访问，不会对网络的正常运行造成影响。同时，利用虚拟设备程序与网卡间的NDIS实现通讯，并由网络协议分析对各种协议信息的原始数据帧进行内容分析，以提取网络文本内容。

　　由于网络信息预处理能够使内容信息过滤达到更高要求，因此该信息预处理主要是针对文本信息词的切分。通过收集和用空格取代切分标志，将句子分成简短的字段分解特征词的集合。这样一来，词频分布律相对起来要平稳很多。

　　VSM文档结构化。在网络异常信息过滤的时候，一般利用布尔逻辑模型和概率模型，以及向量空间模型等对文档进行评价。同时建立词频矩阵和统计特征词频，并利用公式：计算特征词的权重值，构建各文档的向量，以表示文档内容对应的向量空间进行运算。

　　其具体的过滤算法流程如下：将读入的文档设为m类，获取和构建文档矩阵，并读取文档中向量空间的文档量构成矩阵D，计算出
各类文档间的关系数和构造相关系数矩阵、进行相关系数的修正。当修正系数小于阈值则不相关可设为0；相反当修正系数大于阈值则相关可将其设为1，输出结果矩阵后判定文档内容的性质。

　　总而言之，随着计算机技术和互联网的飞速发展，不仅开拓了人们的视野，还为人们的生活和工作带来了便捷。由于网络信息的膨胀，在网络中常常出现大量异常信息造成信息的过载和迷向，因此，在详细考虑
网络环境的条件下，基于内容的网络异常信息过滤方式结合其他安全技术进行不良信息过滤，为信息过滤系统领域日后的发展奠定了基础。