问题描述
- GET抓取安居客网页数据频繁了被屏蔽怎么绕过他的验证?
-
用火车头采集安居客,但是一会就会全部跳转到输入验证码页面验证了才能正常访问,除了用代理还有其他的解决方案吗?
解决方案
只能换ip,既然服务器封了就没办法了。不过网上有那种代理服务器api,几块钱一天,可以获取上万的不同ip,可以说基本上也就相当于没限制。
解决方案二:
活该,谁叫你频繁地搞,搞到手的数据就存起来用啊。不如果不用等待答复的,直接构造IP包发送请求就完了。
解决方案三:
用神箭手云爬虫吧,平台自动帮你解决这种ip啊,验证码啊,被屏蔽的功能,很方便。比火车头好用一百倍!
时间: 2024-08-03 22:24:38