用Python的requests.get获取网页源代码出现ConnectionError

问题描述

用Python的requests.get获取网页源代码出现ConnectionError

如下为具体报错：
requests.exceptions.ConnectionError: HTTPConnectionPool(host='seth_shy', port=80): Max retries exceeded with url: http://www.jikexueyuan.com/ (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError(': Failed to establish a new connection: [Errno 11004] getaddrinfo failed',)))

解决方案

http://www.zhihu.com/question/40452450/answer/86705808

解决方案二：

代理连不上 或者你的目标机器访问不了

解决方案三：

用神箭手云爬虫吧，自带高匿ip代理。

时间： 2024-10-16 02:51:25

用Python的requests.get获取网页源代码出现ConnectionError的相关文章

android真机调试，获取网页源代码，返回302.请大神指点迷津，万分感谢！

问题描述 android真机调试,获取网页源代码,返回302.请大神指点迷津,万分感谢! 获取网页源代码,返回code是302 用真机调试 ,请大神指点迷津,万分感谢! URL url = new URL(path); HttpURLConnection conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("GET"); conn.setConnectTimeout(5000); conn.set

JS远程获取网页源代码实例_javascript技巧

复制代码 代码如下: <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html> <head> <meta http-equiv="Content-type" content="text/html; charset=utf-8"> <title>远程网页源代码读取</title> <sty

Java 网络爬虫获取网页源代码原理及实现

1.网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成.传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件. 2.那么程序获取网页的原理到底是怎么回事呢?看下面的图:客服端首先向服务器端发出Http请求,之后服务器端返回相应的结果或者请求超时客户端自己报错. 服务器端发出的Http请求,实际上说是对服务器的文件的请求.下面的表格是一些常见的HTTP请求对应的文

用asp.net c# HttpWebRequest获取网页源代码

  该方法需要传递目标网页的编码方式,比如System.Text.Encoding.Default或者System.Text.Encoding.UTF8 如果哪位高手知道如何自动判断目标页面的编码格式,请在评论中告知.谢谢! /// /// 获取源代码 /// /// /// /// public static string GetPage(string url, Encoding encoding) { HttpWebRequest request = null; HttpWebRespons

C#中使用Socket获取网页源代码的代码_C#教程

WebToolkit类: 复制代码 代码如下: using System; using System.Net.Sockets; using System.Text; namespace ConsoleApplication1 { class WebToolkit { /// <summary> /// Url结构 /// </summary> struct UrlInfo { public string Host; public int Port; public string Fi

爬虫-我有网页源代码，但我不知道网页的地址。源代码里面的js代码有个变量值是网页的地址，怎么能获取出来？

问题描述 我有网页源代码,但我不知道网页的地址.源代码里面的js代码有个变量值是网页的地址,怎么能获取出来? 解决方案 前后截取就好了或者用正则来获取 var s = 'sfeeaaxxx var msg_link = "xxafejfleajflajflafjalfjlxllx"'; var m = new RegExp('var msg_link = "([^"]+)"').exec(s); if (m) alert(m[1]); 解决方案二: 直接正

用XMLHTTP读取网页源代码

xml|网页|源代码     在VBScript中,我们用XMLHTTP组件来获取网页源代码,并可以赋给某变量从而动态保存为HTML文件.有关XMLHTTP对象的介绍请参考以下文章:http://www.webjx.com/htmldata/2005-10-17/1129556661.html:有关XMLHTTP的使用实例请参考以下文章:http://www.webjx.com/htmldata/2005-02-25/1109332374.html.    我按照第二篇文章的介绍写了一段代码: 

Python解析网页源代码中的115网盘链接实例_python

本文实例讲述了python解析网页源代码中的115网盘链接的方法.分享给大家供大家参考.具体方法分析如下: 其中的1.txt,是网页http://bbs.pediy.com/showthread.php?t=144788另存为1.txt 具体代码如下: import re if __name__ == "__main__": fp = open("c:\\1.txt") https = re.compile(r"(http://u.*)") fo

Python获取网页上图片下载地址的方法_python

本文实例讲述了Python获取网页上图片下载地址的方法.分享给大家供大家参考.具体如下: 这里获取网页上图片的下载地址是正在写的数据采集中的一段,代码如下: 复制代码 代码如下: #!/user/bin/python3 import urllib2 from HTMLParser import HTMLParser class MyHtmlParser(HTMLParser):     links = []     def handle_starttag(self, tag, attrs):