关于python,xpath采集过微博数据的问题

问题描述

关于python,xpath采集过微博数据的问题

微博数据节点很深(多层),感觉xpath无法定位采集数据啊!求python-xpath采集过微博数据的大神指导一下。给我举个例子。例如:采集微博的发表的时间
把代码放在答案里。谢谢了!大神

解决方案

先要找到你关心的数据特点,比如独特detag或者id值等。这样xpath可以直接定位节点。
如果还有不清楚,可以贴出拿到的层次xml数据看看。

解决方案二:

参考:http://blog.csdn.net/telnetor/article/details/8582045

时间: 2024-09-11 02:15:11

关于python,xpath采集过微博数据的问题的相关文章

基于微博数据用Python打造一颗“心”

一年一度的虐狗节终于过去了,朋友圈各种晒,晒自拍,晒娃,晒美食,秀恩爱的.程序员在晒什么,程序员在加班.但是礼物还是少不了的,送什么好?作为程序员,我准备了一份特别的礼物,用以往发的微博数据打造一颗"爱心",我想她一定会感动得哭了吧.哈哈 准备工作 有了想法之后就开始行动了,自然最先想到的就是用 Python 了,大体思路就是把微博数据爬下来,数据经过清洗加工后再进行分词处理,处理后的数据交给词云工具,配合科学计算工具和绘图工具制作成图像出来,涉及到的工具包有: requests 用于

Python爬虫采集CloudBlog网站的文章

---------------------------------------------------------------------------------------------[版权申明:本文系作者原创,转载请注明出处] 文章出处:http://blog.csdn.net/sdksdk0/article/details/76208980作者:朱培      ID:sdksdk0     --------------------------------------------------

Python Crawler – 网信贷黑名单数据爬取

网信贷黑名单网站截图: 真实数据截图: 我这里想爬取这些个人的信息,但是有些内容是需要登陆才可以查看的,所以先去注册了一个账号. 登陆进来后得到的内容是完整的: (PS:这里就不激活邮箱了) – 结构分析&代码编写 这些被黑名单的人信息是首页点入进去的,对比下: <tr onclick="localHref('jgp94CtrsB')" class="pointer">  点开后的链接是: acklist-jgp94CtrsB.html 相信大家

Python的Tornado框架实现数据可视化的教程

  这篇文章主要介绍了举例讲解Python的Tornado框架实现数据可视化的教程,Tornado是一个异步的高人气开发框架,需要的朋友可以参考下 所用拓展模块 xlrd: Python语言中,读取Excel的扩展工具.可以实现指定表单.指定单元格的读取. 使用前须安装. 下载地址:https://pypi.python.org/pypi/xlrd 解压后cd到解压目录,执行 python setup.py install 即可 datetime: Python内置用于操作日期时间的模块 拟实现

asp.net mvc 关于FormCollection collection采集不到数据问题.大神们帮帮忙谢谢,指点一下也可以

问题描述 asp.net mvc 关于FormCollection collection采集不到数据问题.大神们帮帮忙谢谢,指点一下也可以 新手求请教!就是FormCollection collection采集不到前台的数据,之前用的时候从没出现这种问题. 解决方案 你在控制器端试试不要用FormCollection collection来接收,先试试用 public ActionResult xxxxxx(string line)来接收试试看 解决方案二: 视图转型了吗?引用mvc的js文件了

python通过正则查找微博@(at)用户的方法_python

本文实例讲述了python通过正则查找微博@(at)用户的方法.分享给大家供大家参考.具体如下: 这段代码用到了python正则的findall方法,查找所有被@的用户,使用数组形式返回用户昵称 import re users = re.findall(r'@([\u4e00-\u9fa5\w\-]+)','nihao @dfugo @jb51 haha') print(users) 返回结果如下: ['dfugo', 'jb51'] 希望本文所述对大家的Python程序设计有所帮助. 以上是小

mongo python用pymongo find 获取数据感觉很慢

问题描述 mongo python用pymongo find 获取数据感觉很慢 mongo python用pymongo find 获取数据感觉很慢 for each in db.find(projection={"_id":1, "title":1, "core":1, content":1}): 没有做 where, 只有 project, 经过 5万条document的测试: 消耗 300多秒. 这个速度应该不科学吧. 是不是我

我从串口读上来的硬件采集到的数据,显示在textbox的同时对数据库相应数据进行更新,遇到一点小困难,请大侠帮助!

问题描述 我是这么个思路,先将串口读上来的数据显示在textbox中,这一步早已经实现,现在我想先用很简陋没效率的方式将这个数据与原数据库存储的数据进行覆盖修改,思路就是将修改数据库表的某一行数据的代码用到这里,我串口读上来的数据的格式现在比较简陋,暂时不考虑传输协议,只是用空格将上传数据分为str_addrstr_data这种格式,先判断str_data是否为1,如果为1,那么才将str_addr对应的那一行表里面数据修改,否则不修改...附上这个部分的简陋代码:str=this.textBo

新浪微博api 调用-如何调用新浪API对其微博数据进行挖掘分析

问题描述 如何调用新浪API对其微博数据进行挖掘分析 各位大神,菜鸟目前正在进行微博数据挖掘分析的相关项目,刚开始没多久,在此想请教各位,如何在SQL等数据库软件上调用新浪微博API,我已经在新浪微博平台,并下载了相关的SDK包,调用所必需的 app secret,回调地址等都已经有了,现在就是不知道如何在数据库软件上调用数据的具体操作,是通过平台给出的那些接口吗?具体问题如下: 1,如何获取微博内的数据: 2,新浪平台提供的那些接口怎么使用.(PS:关于数据挖掘的算法分析这些以后会逐步解决,现