中国联合航空 数据抓取

问题描述

中国联合航空数据抓取现在最后一步老是出现问题说什么timeout有没有做过的请联系,前面的每一步的返回值我都对过都是可以的

解决方案

解决方案二:
到底说什么timeout,你倒是说啊。
解决方案三:
想抄一个偷东西的代码,不要上正轨论坛问。
解决方案四:
引用1楼zhi_ai_yaya的回复:

到底说什么timeout,你倒是说啊。

他就提示Timeout没有其他的要是能有其他的我也不至于这么郁闷
解决方案五:
引用2楼sp1234的回复:

想抄一个偷东西的代码,不要上正轨论坛问。

这不算是抄袭吧只是爬虫而已吧
解决方案六:
引用2楼sp1234的回复:

想抄一个偷东西的代码,不要上正轨论坛问。

如果这么说那猎豹的12306抢票算什么?
解决方案七:
引用3楼panni15的回复:

Quote: 引用1楼zhi_ai_yaya的回复:
到底说什么timeout,你倒是说啊。

他就提示Timeout没有其他的要是能有其他的我也不至于这么郁闷

老规矩,try-catch单步调试到具体某行代码。然后张贴Exception内容。
解决方案八:
不妨说说现在具体的问题,好让大家帮助
解决方案九:
timeout是连接超时吗?建议你ping一下,或者清空缓存,监控一下请求时间
解决方案十:
<divid="error_404"><h2><divclass="titleyahei"><i>出错啦</i>errorcode:<br/>06-58-654874</div><b><ulclass="errorMessage"></ul></b><divclass="error_btn">这是那个网站最后返回的一个错误信息,然后现在是不知道哪出了问题,麻烦能解决的加下我的QQ可提供源程序和数据包714217821
解决方案十一:
我感觉在哪里都能看到2楼的大神

时间: 2024-08-30 04:22:00

中国联合航空 数据抓取的相关文章

数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置

数据抓取是一门艺术,和其他软件不同,世界上不存在完美的.一致的.通用的抓取工具.为了不同的目的,需要定制不同的代码.不过,我们不必Start from Scratch,已经有许多的基本工具.基本方法和基础框架可供使用.不同的工具.不同的方法.不同的框架的特点也不同.了解这些工具.方法和框架是首要任务,接下来就需要明白它们的差异都在哪里.什么情境该用什么东东,最后才是析出规则.编写代码.运行程序来抓取数据.所以说,其实数据抓取的学习路线,不但很长而且很杂.     为了一个特定的目的,我需要爬取G

07-爬虫的多线程调度 | 01.数据抓取 | Python

07-爬虫的多线程调度 郑昀 201005 隶属于<01.数据抓取>小节 一般让爬虫在一个进程内多线程并发,有几种方法: Stackless :Stackless Python是Python的一个增强版本.Stackless Python修改了Python的代码,提供了对微线程的支持.微线程是轻量级的线程,与前边所讲的线程相比,微线程在多个线程间切换所需的时间更多,占用资源也更少. Twisted :主要利用 Twisted 中的异步编程能力.如 addCallback , callLater

用javascript解决外部数据抓取中的乱码问题_应用技巧

我们一般会在两个地方用到外部数据抓取,一个是在asp中,一个是在hta中.如果外部数据是gb2312编码的,就涉及到转码的问题,但是传统的用vbs函数进行处理的方法,运算量比较大,有些特殊字符还会出错.    如果用adodb.stream控件来进行转码,就简单多了,不需要借助vbs的二进制处理函数了,同时速度快了很多. 复制代码 代码如下: <script>  function loadData(sUrl){      var xh      xh=new ActiveXObject(&qu

数据抓取的一个类,包含一些常用的方法

原文:数据抓取的一个类,包含一些常用的方法 using System;using System.Configuration;using System.IO;using System.Net;using System.Text;using System.Text.RegularExpressions; namespace XXX{    /// <summary>    /// Func 的摘要说明.    /// </summary>    public class Func   

数据抓取的艺术(二):数据抓取程序优化

      续前文:<数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置>. 程序优化:第一步开始: for i in range(startx,total):     for j in range(starty,total):         BASE_URL = createTheUrl([item[i],item[j]])         driver.get(BASE_URL)         driver = webdriver.PhantomJS()    

10-穿墙代理的设置 | 01.数据抓取 | Python

10-穿墙代理的设置 郑昀 201005 隶属于<01.数据抓取>小节   我们访问 Twitter 等被封掉的网站时,需要设置 Proxy . 1.使用HTTP Proxy 下面是普通HTTP Proxy的设置方式: 1.1.pycurl 的设置 _proxy_connect = "http://127.0.0.1:1984" c = pycurl.Curl() - c.setopt(pycurl.PROXY, _proxy_connect)   1.2.urllib2

一淘网的数据抓取和插件屏蔽涉及的法律问题

今天探讨B2C购物网站京东商城和阿里巴巴集团旗下的比价网站一淘网的数据抓取和插件屏蔽涉及的法律问题.说明下,笔者和两网站均无业务关系和联系.先介绍背景: 2011年11月,京东商城采取技术措施,屏蔽一淘网搜索引擎,一淘网随后在微博表示不再直接抓取京东商城的价格数据,但近期又在京东商城与苏宁的价格战中实时公布京东商城和其他购物网站商品价格比较.近日,京东商城又在其网站屏蔽了一淘网的浏览器插件,该插件向用户实时提供包括京东商城在内的各大购物网站同款商品价格,一淘网方面表示京东商城是在破坏其软件运行.

python-模拟登录post数据抓取不到

问题描述 模拟登录post数据抓取不到 想用python写的爬虫模拟登录知乎,但是登录的时候用chrome抓取post数据的页面一 闪而过,看不到需要post的数据,请问各位大神这是怎么回事,要怎么才能抓取到 post的数据 解决方案 用fiddler,它可以记录所有的http通讯.你可以回放. 解决方案二: 模拟Post/get提交数据 并抓取返回数据模拟Post/get提交数据 并抓取返回数据Webbrowser截获POST数据和模拟POST提交数据 解决方案三: httpwatch fid

数据抓取的艺术(三):抓取Google数据之心得

 本来是想把这部分内容放到前一篇<数据抓取的艺术(二):数据抓取程序优化>之中.但是随着任务的完成,我越来越感觉到其中深深的趣味,现总结如下:    (1)时间      时间是一个与抓取规模相形而生的因素,数据规模越大,时间消耗往往越长.所以程序优化变得相当重要,要知道抓取时间越长,出错的可能性就越大,这还不说程序需要人工干预的情境.一旦运行中需要人工干预,时间越长,干预次数越多,出错的几率就更大了.在数据太多,工期太短的情况下,使用多线程抓取,也是一个好办法,但这会增加程序复杂度,对最终数