判断是搜索引擎蜘蛛请求类

问题描述

谁有判断是搜索引擎蜘蛛请求类啊，只判断UserAgent就可以了。不用判断IP段。爬虫名称最好齐一点的，没有分了。求解答。

解决方案

解决方案二：
现在的大多数蜘蛛，不告诉你他自己是蜘蛛。
解决方案三：
引用1楼sp1234的回复:

现在的大多数蜘蛛，不告诉你他自己是蜘蛛。

那我要对搜索引擎返回单独页面怎么做呢？我需要一个判断。
解决方案四：
引用2楼q5789004的回复:

Quote: 引用1楼sp1234的回复:

现在的大多数蜘蛛，不告诉你他自己是蜘蛛。

那我要对搜索引擎返回单独页面怎么做呢？我需要一个判断。

你可以在web.config里还是哪里配置一下，告诉搜索引擎，这里不允许抓取，一般的正规的搜索引擎是会遵守约定的，不正规的你是无法判断的。