问题描述

python爬虫抓不到网页

抓取的时候总会出现这样的错误，IOError: [Errno socket error] [Errno 10060]，求告知怎么才能解决啊。

解决方案

先在第一页捉取网页链接，存放在数据库，然后一个个从数据库读取来打开下一个网页。

解决方案二：

网络超时等错误，看上去是网络请求有问题了
或者被网站ban了

解决方案三：

造成10060（网络超时）的原因：
1.请求过于频繁，被服务器认为DDOS攻击而拒绝响应。
2.网络状态不好。
3.系统繁忙处理不过来（主要是多线程大规模请求）。
解决方法：
1.降低请求频率和增加请求间隔。
2.提高应用程序处理速度。
3.对该异常进行捕获，出现后等待一段时间重试。

解决方案四：

加tor。就好用多了。