爬-请问如何抓下去抓取如下链接中的数据？搞了几天了，没有头绪啊，坐等大神帮忙。。。。

问题描述

请问如何抓下去抓取如下链接中的数据？搞了几天了，没有头绪啊，坐等大神帮忙。。。。
各位大神好，我想抓取这个网站上http://xxfb.hydroinfo.gov.cn/ssIndex.html，大江大河的水文数据，
，好像是用post方法才能返回表里的数据，但是小白实在是不会用，请各路大神帮忙看看，如何获取这个表中的数据，谢谢啦

解决方案

可以用浏览器控制台抓一下请求，post的各种参数需要你能够搞清，这样就可以构造对应的参数，一个个发送post获取返回数据，然后再解析结果。

解决方案二：
额，发送网络请求就行了呗，socket或者wininet觉着那个顺手用那个
获取数据后有必要就转码，然后就是基本的字符串操作了。。

解决方案三：
自己用浏览器开发工具看就知道，数据是ajax动态加载的，你请求这个页面看不到数据的，接口是http://xxfb.hydroinfo.gov.cn/dwr/call/plaincall/IndexDwr.getSreachData.dwr，需要POST传递以下参数，
callCount=1
page=/ssIndex.html
httpSessionId=457DF20DBA703F85B030FDAEA46034DD.tomcat1
scriptSessionId=5481D9BFF3351DC2FF23AE7BBB32F366628
c0-scriptName=IndexDwr
c0-methodName=getSreachData
c0-id=0
c0-param0=string:hd
c0-param1=string:
c0-param2=string:
batchId=0

解决方案四：
可以用python来做，先用fiddler来看，正常情况下查看这些数据需要发送的POST或GET请求报头。
然后自己再用python编写个伪装的浏览器，构造请求报送。然后返回的应该就是你要的数据了！具体看看下面
http://blog.csdn.net/evankaka/article/details/46849095

时间： 2024-09-17 03:42:13

爬-请问如何抓下去抓取如下链接中的数据？搞了几天了，没有头绪啊，坐等大神帮忙。。。。的相关文章

html5-JS取值问题,求大神帮忙!!!

问题描述 JS取值问题,求大神帮忙!!! 确定 确定 确定 请问怎样点确定可以取到当前tr里name=cn的value呢 解决方案 可以用jquery,也可以不用. <!DOCTYPE html> <html> <script> function getInputValue(self){ alert(self.parentElement.getElementsByTagName('input')[0].value); } </script> <body

修改数据库字段-请问怎么用sql语句去修改sqlite中的数据字段的类型呢？

问题描述 请问怎么用sql语句去修改sqlite中的数据字段的类型呢? 我现在想写一个方法,用来修改sqlite数据库中某个表中的某个列的类型,因为现在客户需要发生变化了,我需要在数据完整的情况下吧数据类型给改变了,也就是说我不能替换数据库,哪就只有用sql语句去修改类型了,跪求高手... 解决方案 sqlite数据库中数据类型存在sqlite_master表中 select sql from sqlite_master where tb_name='tbname' 把这条sql语句改了,表结构

服务器控件-取值问题，求大神帮忙！！！！！

问题描述 取值问题,求大神帮忙!!!!! JS获取服务器控件下拉列表框 的文本值,求大神解决,急用!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 解决方案 var obj = document.getElementById(""select_id""); //selectid下拉框的idvar index = obj.selectedIndex; // 选中索引var text = obj.options[i

mac-求大神帮忙解决！Mac下在xcode里编译opencv出现下面错误请问怎么回事？

问题描述 求大神帮忙解决!Mac下在xcode里编译opencv出现下面错误请问怎么回事?

请问一下，有没有人知道如何导出mysql中的数据，下面是例子？

问题描述 请问一下,有没有人知道如何导出mysql中的数据,下面是例子? 表结构如下: CREATE TABLE survey.survey (id int(11) NOT NULL AUTO_INCREMENT,name varchar(255) DEFAULT NULL,pageSize int(11) DEFAULT NULL,createTime datetime DEFAULT NULL,modifiedTime datetime DEFAULT NULL, PRIMARY KEY (

callback(data)-javascript代码，从request取到callback值之后，有段代码没看懂，请大神指导。

问题描述 javascript代码,从request取到callback值之后,有段代码没看懂,请大神指导. if('${callback}' != ''){ var callback = eval('window.opener.${callback}'); callback(data); } 非常疑惑,为什么可以执行callback(data);这段代码没看懂啊. 解决方案 callback 是一个方法吧,你找找看

HttpWebRequest抓取网页内容与直接输入URL得到的内容不一致！球大神帮忙！！

问题描述 一.前言我在做一个百度收录情况查询的软件,就是通过软件来批量查询文章链接是否被百度收录,主要是用来查询某个网址的收录次数还有网站的排行数,思路是借鉴别人的.二.问题描述首先需要考虑的是能够支持哪些搜索引擎的查询,首先是百度,然后是必应.搜狗.搜搜.360.本来想支持Google但是一想不对,根本不好访问的,所以暂时不算在内.而我们实际要做的就是根据一个网址能够检索出这个网址的在各个搜索引擎的收录次数以及在不同关键词下的网址排行,这里出入的只有网址还有若干的关键词,而输出则是该网址在不同

自己写的一个抓取网页内容的小东西，但是不知道提示网页报错，求大神看看！

问题描述 usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Text;usingSystem.Net;usingSystem.IO;usingSystem.Text.RegularExpressions;namespaceConsoleApplication3{classProgram{staticvoidMain(string[]args){//stringurl="http://172.16.10

求大神帮忙，关于ajax取值。

问题描述 SearchQCAction:publicStringexecute()throwsException{SearchQCBusinesssearchQC=newSearchQCBusiness();QCdata=searchQC.fetchAllEchartsData(timeRangeSelected,instrumentSelected);HttpServletResponseresponse=ServletActionContext.getResponse();response.