雨哲浅谈关于防采集而不影响收录内容篇

让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法。

一、如何分辨搜索爬虫 

        以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。

复制代码 代码如下:

 Function CheckSearchRobots(SearchRobotsAgent) 

 CheckSearchRobots = False 

 '自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录 

        Dim SearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo" 

        dim ArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots 

        SearchRobotsTrue = False 

        ArrSearchRobots = split(SearchRobots,chr(124)) 

        For iSearchRobots = 0 To Ubound(ArrSearchRobots) 

                ArrSearchRobots2 = split(ArrSearchRobots(iSearchRobots),"@") 

                If Instr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0))) > 0 then 

                        SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exit for 

                End If 

        Next 

        If SearchRobotsTrue and len(SearchRobotsName)>0 then'如果是爬虫,就更新爬虫信息 

   CheckSearchRobots = True 

        End If 

End Function

将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用: If CheckSearchRobots(SearchRobotsAgent) = False Then

        Response.Write "非搜索引擎,可作部分限制!"      '这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。 

End If

二、限制超常规访问。 

下面说说如何限制别人的超常规访问。下面代码来源于互联网(原作者未能找到)。我作了部分修改和说明。 

复制代码 代码如下:

Sub CheckAppeal()

 Dim AppealNum,AppealCount

 AppealNum=10 '同一IP60秒内请求限制次数

 '雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。

 '雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。

 AppealCount=Request.Cookies(AppealCookies) 

 If AppealCount="" Then

  Response.Cookies(AppealCookies)=1

  AppealCount=1

  response.cookies(AppealCookies).expires=dateadd("s",60,now())

 Else

  response.Cookies(AppealCookies)=AppealCount+1

  response.cookies(AppealCookies).expires=dateadd("s",60,now())

 End If

 if int(AppealCount)>int(AppealNum) then

  Response.Write "兄弟,爬了这么久,歇会儿吧,别累坏了身体!"

  '这里的提示完全可以自定义,我的做法是另外转到一个和当前文章模板完全一致的页面,当然内容是自定义的。

  '有兴趣的朋友也可以采集<a class="channel_keylink" href="http://www.yuzhe.name">雨哲</a>在线的http://www.yz81.com/wanzhuan/频道下面的文章。

  Response.end

 End If

End Sub

将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用: 

Call CheckAppeal()

时间: 2024-09-20 04:10:44

雨哲浅谈关于防采集而不影响收录内容篇的相关文章

雨哲浅谈关于防采集而不影响收录内容篇_应用技巧

让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了.当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法.   一.如何分辨搜索爬虫          以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件.就此代码(原作者未知)我作了修改,加入程序中防采集.现做成函数,直接在页面中调用. 复制代码 代码如下:  Function CheckSearchRobots(SearchRobotsAgent)   CheckS

网站生成静态页面攻略 -- 防采集而不防搜索引擎策略

采集|策略|攻略|静态|搜索引擎|页面 从前面的我讲的采集原理大家可以看出,绝大多数采集程序都是靠分析规则来进行采集的,如分析分页文件名规则.分析页面代码规则. 一.分页文件名规则防采集对策 大部分采集器都是靠分析分页文件名规则,进行批量.多页采集的.如果别人找不出你的分页文件的文件名规则,那么别人就无法对你的网站进行批量多页采集. 实现方法: 我认为用MD5加密分页文件名是一个比较好的方法,说到这里,有人会说,你用MD5加密分页文件名,别人根据此规则也可以模拟你的加密规则得到你的分页文件名.

网站生成静态页面攻略4:防采集而不防搜索引擎策略_小偷/采集

从前面的我讲的采集原理大家可以看出,绝大多数采集程序都是靠分析规则来进行采集的,如分析分页文件名规则.分析页面代码规则.     一.分页文件名规则防采集对策     大部分采集器都是靠分析分页文件名规则,进行批量.多页采集的.如果别人找不出你的分页文件的文件名规则,那么别人就无法对你的网站进行批量多页采集.     实现方法:     我认为用MD5加密分页文件名是一个比较好的方法,说到这里,有人会说,你用MD5加密分页文件名,别人根据此规则也可以模拟你的加密规则得到你的分页文件名.     

浅谈如何让搜索引挚收录网站内容页

内容作为一个网站被搜索引挚收录的基本原素而存在.一个没有内容的网站即使蜘蛛来了也收不了任何东西,但是这样的情况根本没有,换之有很多网站内容一大堆却收录寥寥无几,甚至是一年只收录了首页,造成内容页一篇都不收录,这就苦了许多在优化网站的站长了.那么对于文章内容页该如何让搜索引挚收录呢?什么样的内容搜索引挚才会很容易的收录呢?有哪些会影响到内容页的收录呢?今天笔者简单来说说: 首先内容的质量.不可否认网站的内容是蜘蛛的食物.而蜘蛛又特别喜欢原创有质量的内容,这样情况下,如果自己网站上的大部分内容都是通

浅谈内部链接对网站影响的四个重点

现在的个人网站越来越多的人在做,并且很多人都把大部分精力集中在外链的这一块当中.其实外链只是一个小小的一部分,而内链却没有多少人去理会.事实上,如果你把内链做好了,那么我们自己的网站就会有更大的发展,不必一味着靠外链做推广,因为内链有着更好地优势.那么内链对网站有着怎样的意义呢?以下就是我在做网站的一些看法,希望对你们有帮助. 第一:建好内链,牢固地基. 有些人可能对内链不太了解,所谓内链就是在自己的网站内部进行的链接,或者说在同一个网站中浏览内容,而不会转到其他的网站中.从这里就可以知道如果我

谈培训学校官网建设之内容篇

中介交易 SEO诊断 淘宝客 云主机 技术大厅 在百度知道里输入一个或大或小的培训机构名字时,都会找到很多该机构的学员在咨询诸如开班时间.报道手续.成绩查询等等与培训相关的具体事宜.从这点来看,可能有些学员没有主动去了解,但至少还是证明培训机构在这方面的工作是没有做足的,这些本能够在自己的官网上说明的东西,有些培训机构却是没有去做的,因而造成很多学员不知情,这种低成本的信息传播方式至少是行得通的.那么作为培训机构的官网,网站应该囊括哪些内容呢? 在笔者的系列文章上篇<谈培训学校官网建设之思路篇>

虚子雨:浅谈2011最给力的3个推广方式

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 大家好,到目前为止,我在SEO圈子里面已经混了一年多了,虽然自己的推广水平不行,还有很多需要提高的地方,在这一年时间里,学到了很多的知识,也有了自己的一些案例,但是总觉得不足,自己的推广上很多时候感觉到力不从心,虽然这样,但是不代表自己没有发现一些非常不错的推广技巧,只是这些技巧对于现在的我来说还不很适用,所以一直束之高阁,今天虚子雨特意把这

浅谈ASP自动采集程序及入库

采集|程序 最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中.其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的.与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站.简单事例: 1<

浅谈安防产业链新生态

一年一度秋风劲,不似春光,胜似春光.这是毛泽东<采桑子·重阳>中的一段,也是我对安防行业近年来发展的感概.中国安防产业经过数十年的发展,已经奠定了全球的领先地位.值得注意的是,虽然中国安防产业在硬件制造方面已经做到极致,但在产业同质化竞争之下,许多中小企业也将面临着生存的压力. 大环境尽管不尽如人意,行业发展却从未停步,我们看到在大数据.深度视频可视化应用.物联网技术的推动下,行业发展正释放出良好的信号--安防产业在中国甚至全球中,仍然具有巨大的空间留给企业发展,我们坚信着这个方向,勇往直前.