抓取网站数据 报Connection timed out

问题描述

做了一个抓取网站的功能，用的是httpclient。在自己的电脑上运行，可以抓取到。但是把工程发布到服务器上，就会报I/O exception (java.net.ConnectException) caught when processing request: Connection timed out请问，是什么原因啊？

解决方案

目测判断：你的服务器与目标网站没有成功连接。排查方法：1.检查目标地址，确保服务器上，你访问的url与本地一致（如果是通过配置文件配置，请检查配置文件）；2.登录你的服务器，用ping命令测试服务器与目标服务器的连通性。或者使用wget命令 wget url 测试返回结果如果有问题，请排查，是否防火墙设置有问题。关闭防火墙(Linux)： service iptables stop

时间： 2024-09-17 21:28:58

抓取网站数据 报Connection timed out的相关文章

Python使用scrapy抓取网站sitemap信息的方法_python

本文实例讲述了Python使用scrapy抓取网站sitemap信息的方法.分享给大家供大家参考.具体如下: import re from scrapy.spider import BaseSpider from scrapy import log from scrapy.utils.response import body_or_str from scrapy.http import Request from scrapy.selector import HtmlXPathSelector c

JAVA使用爬虫抓取网站网页内容的方法_java

本文实例讲述了JAVA使用爬虫抓取网站网页内容的方法.分享给大家供大家参考.具体如下: 最近在用JAVA研究下爬网技术,呵呵,入了个门,把自己的心得和大家分享下 以下提供二种方法,一种是用apache提供的包．另一种是用JAVA自带的. 代码如下: // 第一种方法 //这种方法是用apache提供的包,简单方便 //但是要用到以下包:commons-codec-1.4.jar // commons-httpclient-3.1.jar // commons-logging-1.0.4.jar

PHP中4种常用的抓取网络数据方法

  本小节的名称为 fsockopen,curl与file_get_contents,具体是探讨这三种方式进行网络数据输入输出的一些汇总.关于 fsockopen 前面已经谈了不少,下面开始转入其它.这里先简单罗列一下一些常见的抓取网络数据的一些方法. 1. 用 file_get_contents 以 get 方式获取内容: ? 1 2 3 $url = 'http://localhost/test2.php'; $html = file_get_contents($url); echo $ht

浏览器抓取前端jquery报错

问题描述 浏览器抓取前端jquery报错 xhr.send( ( options.hasContent && options.data ) || null );浏览器抓取前端报错 解决方案 不要使用太新的jquery版本 解决方案二: 什么错误?如果是跨域页面无法直接用ajax请求,除非跨域页面设置了响应头Access-Control-Allow-Origin 看这个http://ask.csdn.net/questions/226621

如何用c或c++提取wireshark抓取的数据包中的数据

问题描述 如何用c或c++提取wireshark抓取的数据包中的数据 我用wireshark抓取了数据包 如何通过程序提取出其中我想要的信息呢?求程序 解决方案 http://wenku.baidu.com/link?url=HmlLwziHvQ2eDGwL-fYNxviUawq7lCSA4X866SQYy-r1NVuqC-pcwV7_8gCkVMmlzFiozXpYVmfdabGw_pLk57s6E1hQgkOugvIOuToJKvC

c#-C#网络编程使用SharpPcap.dll来抓取网络上的TCP数据包，怎么才能完整的还原抓取的数据？

问题描述 C#网络编程使用SharpPcap.dll来抓取网络上的TCP数据包,怎么才能完整的还原抓取的数据? 5C 如题,C#网络编sd程使用SharpPcap.dll来抓取网络上的TCP数据包,怎么才能完整的还原抓取的数据?我是要抓取特定的两台机器之间的数据传递,已知传递的数据包的组成规则,有这么几个问题:1.怎么才能完整的获取所有的数据包?2.获取的数据包需不需要考虑TCP数据包的重传或者错误传递的数据包? 谢谢. 解决方案 c# 使用sharppcap实现 网络抓包 使用SharpPCa

javascript-如何利用js或者jQuery抓取网页数据

问题描述 如何利用js或者jQuery抓取网页数据 有什么高效的方法吗,或者怎么实现,主要问题在于,怎么获取frame里的元素 解决方案 这个是服务器端弄的,客户端js受限于浏览器安全,无法直接获取跨域数据. 一定js可以用雅虎的yql将远程html下载转为jsonp数据,或者自己服务器做代理页面 解决方案二: bobo说的很对,要高效,建议你在服务器上抓取,或者干脆用io.js一类的将js作为本地应用的运行时.

C# Winform项目,如何实现定期抓取网站中指定栏目中的内容

问题描述 C# Winform项目,如何实现定期抓取网站中指定栏目中的内容 在C# Winform项目中,想通过"网络爬虫"定时抓取某个网站中的指定某个菜单中的内容(指定某个菜单的内容有可能是列表,也有可能纯文字或文字加图片的说明内容). 注:指定某个菜单中的内容是列表的话,"网络爬虫"既可以抓取列表也可以抓取列表对应的每条明细内容 请问各位,有没有能实现上述功能"网络爬虫"的相关资料,最好能提供"网络爬虫"相关DEMO.谢谢

c++builder-C++builder实现抓取网页数据，保存在本地文件，希望能给个简单的demo，我是初学者。。多谢了

问题描述 C++builder实现抓取网页数据,保存在本地文件,希望能给个简单的demo,我是初学者..多谢了 C++builder实现抓取网页数据,保存在本地文件,希望能给个简单的demo,我是初学者..工作中用到了,各位大牛,兄弟很急,在这里先多谢了!! 解决方案 用idhttp控件很方便的