新浪微博api抓取其他用户的粉丝

问题描述

我创建了一个新浪微博api之后,利用其JAVA代码抓取某一用户的关注列表和粉丝列表,但由于粉丝数多达100多万,抓取时抓到500左右就无法进行抓取了,求大神指教,谢谢!下面是GetFollowers.java中的主要代码。抓取的是501--1000的粉丝信息。

解决方案

解决方案二:
新浪微博API请求是有次数限制的,你看看你的是不是超速了?
解决方案三:
看看后面的请求的返回是什么,最好写下日志。要么就是accessdenied或者超过请求次数了。一般开放平台都会有这样的限制。
解决方案四:
下图是我重新运行好的结果截图,结果只抓取到了60个粉丝,求大神指教,由于我对代码了解很少,麻烦讲解的稍微详细点,万分感谢

时间: 2024-09-29 01:01:15

新浪微博api抓取其他用户的粉丝的相关文章

微博爬虫-求助。用python爬取微博用户的粉丝列表及粉丝的粉丝列表

问题描述 求助.用python爬取微博用户的粉丝列表及粉丝的粉丝列表 急需一份能爬取微博用户的粉丝列表及对应粉丝的粉丝列表搭建一个实验平台,由于自己编程能力太弱,所以希望好心人能给一份相应的python代码(其他语言编写的能运行的也可),在线等,急求! 解决方案 Python:获取新浪微博用户的收听列表和粉丝列表微博粉丝 解决方案二: python爬取糗百 模式不变 改一下正则就可以 也可以用sqllite保存 .正则自己网上看一下就回了 解决方案三: urllib请求页面获取response

新浪微博api接口调用获取用户信息

问题描述 新浪微博api接口调用获取用户信息 在仿安卓的新浪微博,我调用搜索用户的API,得到用户的uId,再想调用userAPI获取某个用户的基本信息.提示"用户不存在". 请问,不能这样调用接口吗?应该如何获得某个用户的信息? 解决方案 android新浪微博调用用户微博接口 解决方案二: 是不是你少了某些参数呀?

Meerkat被禁止抓取Twitter用户的关注者信息

摘要: 近期火到连Twitter CEO Dick Costolo都参与的流媒体直播应用Meerkat ,转眼就被Twitter给限制了.Meerkat的联合创始人Ben Rubin证实了这一消息. 具体的情况是,Meerkat被禁止抓取Twitter用户的关注者 近期火到连Twitter CEO Dick Costolo都参与的流媒体直播应用Meerkat ,转眼就被Twitter给限制了.Meerkat的联合创始人Ben Rubin证实了这一消息. 具体的情况是,Meerkat被禁止抓取Tw

新浪微博API开发简介之用户授权(PHP基础篇)_php实例

现在玩微博的人越来越多了,而关于微博的第三方应用开发也越来越多,自己在偶然间开始接触了新浪微博API开发,新浪微博API开发的资源比较多,新浪微博提供了一个开发者的平台,网址是:http://open.weibo.com,它里面有很全面的新浪微博开发的资料,包括开发者的使用和介绍,各种语言的API函数介绍文档,SDK等多种资料. 自己在开发和学习的过程中,感觉虽然没有太大难度,但还是有一些问题是需要我们注意的,今天就我在开发和学习的过程中,简单的对利用PHP进行新浪微博API开发的内容进行一个整

PHP开发:使用PHP抓取百万知乎用户以及知识点札记

开发前的准备 安装Linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu: 安装PHP5.6或以上版本: 安装curl.pcntl扩展. 使用PHP的curl扩展抓取页面数据 PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库. 本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问.当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面 的时候,之所以能够看到用户的信息,是因为在点击链接的时候,浏览

百万级别知乎用户数据抓取与分析之PHP开发_php实例

这次抓取了110万的用户数据,数据分析结果如下: 开发前的准备 安装Linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu: 安装PHP5.6或以上版本: 安装curl.pcntl扩展. 使用PHP的curl扩展抓取页面数据 PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库. 本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问.当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候,之所以

互联网隐私现状:央视网广告位亦可抓取Cookies

央视3·15晚会将互联网隐私"一鱼三吃"并幻化出APP.Cookies等三个话题,此番本报再度聚焦这些话题,并不为反驳央视的观点,而在于呈现一个真实的互联网隐私现状.值得注意的是,我们的报道中指出,针对APP和Cookies,目前我们的消费者都有选择的权利,用,或不用,都由你说了算!至于作为消费者的你最终会怎么选择,请不妨阅读下面的文字. 每年的央视3·15晚会都会在IT界掀起轩然大波,作为IT媒体,我们邀读者戴上"IT眼镜"再回眸一次APP和Cookie这些时髦话

基于Node.js的强大爬虫 能直接发布抓取的文章哦_node.js

一.环境配置 1)搞一台服务器,什么linux都行,我用的是CentOS 6.5: 2)装个mysql数据库,5.5或5.6均可,图省事可以直接用lnmp或lamp来装,回头还能直接在浏览器看日志: 3)先安个node.js环境,我用的是0.12.7,更靠后的版本没试过: 4)执行npm -g install forever,安装forever好让爬虫在后台跑: 5)把所有代码整到本地(整=git clone): 6)在项目目录下执行npm install安装依赖库: 7)在项目目录下创建jso

微博抓取

问题描述 怎么样才能把QQ ,新浪,人人网等的微博最新内容抓取出来放到一起??是用它们的API还是爬虫???? 解决方案 他们提供有第三方调用接口的.http://open.t.sina.com.cn/http://open.t.qq.com/解决方案二:有兴趣的话,交流一下哈.我也搞这个的解决方案三:用他们的API抓取吧,还能按需抓取啥的,比较方便