webharvest数据收割器关于js的问题。

问题描述

我想用webharvest对http://www.etpass.com/(快乐e行)的国内机票频道的数据进行爬取,但是发现查询出来的数据(例如:http://www.etpass.com/airticket/inland/search?v=0&from=%E5%B9%BF%E5%B7%9E&o=CAN&to=%E5%8C%97%E4%BA%AC&t=SSS&d=2009-04-22&to2=&t2=undefined&d2=&m=0&l=&c=)航班数据列表是先放在一个js变量中的,然后在页面加载的时候再写到页面中,这样的话就无法用xpath和xquery对页面中的html元素进行爬取。有这方面的高手吗?急需,在线等。。。。

解决方案

解决方案二:
可以把取到得html打印出来在分析,看看生成的树结构,再进行解析。

时间: 2024-09-17 12:58:32

webharvest数据收割器关于js的问题。的相关文章

加快页面的载入速度:异步模块加载器In.js

文章简介:用In.js颗粒化管理.加载你的Javascript模块. 近一年来,国内外都十分热衷于异步加载的研究,为了加快页面的载入速度,无阻塞加载Javascript的方法和框架成为了前端开发的焦点和亮点之一. 国外的像基于jQuery的RequireJs,YUI Loader,LabJs,RunJs,国内也有淘宝的SeaJs,豆瓣的DoJs等,这些都是一些十分优秀的模块加载器.但是本文将会向大家介绍一个新的开源的轻量级"多线程"异步模块加载器In.js,In的开发借鉴了Do的一些思

SQL Server 2008中数据收集器和管理数据仓库

08年8月份发布的SQL Server 2008充满了许多新特性.其中一个新特性就是数据收集器.与这一新特性相关联的是管理数据仓库(MDW).数据收集器功能非常强大,数据库管理员借助这一工具,能够收集不同来源的统计数据,而管理数据仓库就是用来存放存储这些数据. 一.什么是数据收集器? 数据收集器是SQL Server 服务器上的一个核心组件,它收集来自多种来源的数据,并将收集的数据存储在称为管理数据仓库的关系数据库中.数据采集器使用SSIS和SQL 代理的作业来实现这一功能. 数据收集器按照不同

大数据 背景图 或js代码实现

问题描述 大数据 背景图 或js代码实现 想要一张背景图片,图片内容为大数据动态图,请问各位牛人有现成的动态大图,或者有人用jss实现过吗?麻烦发下链接或代码行吗,感激不尽!新手暂时没有C币,不好意思哦~~请告诉帮忙~ 解决方案 不知道你说的jss和动态大图是什么.是热力图么?参考:http://www.jq22.com/jquery-info544或者是扇形图么?http://www.thebigdata.cn/JiShuBoKe/14261.html?utm_source=tuicool 解

一个很酷的程序JavaScript做的MID歌曲搜索播放器[IE](JS)_(转)

一个很酷的程序JavaScript做的MID歌曲搜索播放器[IE](JS)http://aspage.yeah.net/--------------------------------------------from <彩虹细雨>-----------------------<html><head><meta http-equiv="Content-Type" content="text/html; charset=gb2312&qu

Node.js实现数据推送_node.js

场景:后端更新数据推送到客户端(Java部分使用Tomcat服务器). 后端推送数据的解决方案有很多,比如轮询.Comet.WebSocket. 1. 轮询对于后端来说开发成本最低,就是按照传统的方式处理Ajax请求并返回数据,在学校的时候实验室的项目一直都采用轮询,因为它最保险也最容易实现.但轮询带来的通信资源的浪费是无法忽视的,无论数据是否改变,都照常发送请求并响应,而且每次HTTP请求都带有很长的头部信息. 2. Comet的概念是长连接,客户端发送请求后,后端将连接保持下来,直到连接超时

数据源架构模式 表入口 行入口 活动记录 数据映射器

数据源架构模式 - 表入口模式 表入口模式充当数据库表访问入口的对象,一个实例处理表中的所有行. 可以理解为对之前分散在各个页面的sql语句进行封装,一张表就是一个对象,该对象处理所有与该表有关的业务逻辑,很好的提高了代码的复用性. 现在想起来,当初刚毕业那会儿,经常使用表入口模式. 具体的实现方式参见代码: database.php <?php    class Database{       //只是为了演示,通常情况下数据库的配置是会单独写在配置文件中的       private sta

PHP面向对象之领域模型+数据映射器实例(分析)

这里要说明一下 因为本人比较懒 博客中相关文章的内容更多的是对<深入PHP面向对象.模式与实践>一书中代码的整理和简单注解方便自己日后复习和参考, 对相关内容感兴趣的初学的朋友建议请先阅读原文.此处的内容只能当成一种学习的补充和参考.谢谢! 因原书中领域模型+数据映射器的示例代码是连贯在一起的 所以这里就整理在一起了. 简单介绍一下我的看法,从数据库操作的角度看领域模型主要是操作数据表中的单条记录的而数据映射器是操作整个数据表的数据的. 按原文的解释数据映射器是一个负责将数据库数据映射到对象的

万能日志数据收集器 Fluentd - 每天5分钟玩转 Docker 容器技术(91)

前面的 ELK 中我们是用 Filebeat 收集 Docker 容器的日志,利用的是 Docker 默认的 logging driver json-file,本节我们将使用 fluentd 来收集容器的日志. Fluentd 是一个开源的数据收集器,它目前有超过 500 种的 plugin,可以连接各种数据源和数据输出组件.在接下来的实践中,Fluentd 会负责收集容器日志,然后发送给 Elasticsearch.日志处理流程如下: 这里我们用 Filebeat 将 Fluentd 收集到的

服务端数据校验及客户端js脚本验证集成处理初探

一.起源 在项目开发中数据有效性验证肯定是必须的,那么在哪里验证呢!?怎么去验证呢? 针对web项目而言,客户端验证+服务端的验证缺一不可,客户端的脚本验证用于提高用户体验! 服务端的验证主要是为了数据的安全性.合法性的验证! 但是我们在实施这两种验证的时候会发现有以下几个可能出现的问题: 1.客户端代码验证写起来相对比较烦琐,而且易出错!(主要是拼写错误,例如js方法名拼写错误) 2. 服务端的验证和客户端验证要保持一致性一样很烦琐.(客户验证输入不能超过10个字符,那后服 务器端也要相应的控