问题描述

爬虫一般一分钟应该爬多少链接，他的效率要看什么了

爬虫一般一分钟应该爬多少链接，他的效率要看什么标准了，提高效率除了用多线程还有什么别的方法吗

解决方案

看看这篇文章：http://drops.wooyun.org/tips/5462

解决方案二：

有的有反扒策略。。比如你同一ip一分钟 爬了多少次。他那边都会有记载的，到时候会封你ip 。

建议代理，换ip ，伪装头信息等等。

解决方案三：

这个要看去你的爬虫所处理的网页以及你的代码处理能力，然后用多线程多进程等来提高性能

解决方案四：

网速正常的话，每分钟几千个。

解决方案五：

现在都是分布式爬虫，效率就会很快。建议你去这个上面写：http://www.shenjianshou.cn/