python-问一个关于Python抓取页面跳转的问题（略愚蠢。。。）

问题描述

问一个关于Python抓取页面跳转的问题（略愚蠢。。。）

真的。可能这问题真的挺愚蠢。。。但咱还是厚着脸皮问下大神了。。。

问题是这样的：我在做一个抓取我们学校教务系统课表的爬虫，登陆的已经写好了，问题出在登陆以后怎么跳转。
登陆后的页面和切换到（跳转到）课程表页面的url是一样一样的...
而且wireshark抓包也没发现任何post数据包

教务系统截图如下

也是没任何post包，我试了下postdata也是没抓取到课程表页面...
总结一下：
1、页面跳转后url和跳转前一致
2、没任何post数据包...

求大神解答，轻喷啊:(

解决方案

http://www.zhihu.com/question/23180374

解决方案二：

http://www.shenjianshou.cn/

时间： 2024-10-21 13:02:20

python-问一个关于Python抓取页面跳转的问题（略愚蠢。。。）的相关文章

Python实现抓取页面上链接的简单爬虫分享_python

除了C/C++以外,我也接触过不少流行的语言,PHP.java.javascript.python,其中python可以说是操作起来最方便,缺点最少的语言了. 前几天想写爬虫,后来跟朋友商量了一下,决定过几天再一起写.爬虫里重要的一部分是抓取页面中的链接,我在这里简单的实现一下. 首先我们需要用到一个开源的模块,requests.这不是python自带的模块,需要从网上下载.解压与安装: 复制代码 代码如下: $ curl -OL https://github.com/kennethreitz/

python代码苍穹平台数据抓取

问题描述 python代码苍穹平台数据抓取 原文地址:https://github.com/yiyuezhuo/cangqiong-scratchhttp://v.kuaidadi.com/ 在上面这个网站平台抓取数据,为什么只有10个城市的数据可以抓取数据,其他的就不行呢?原文说10个城市可以抓取,但是我觉得应该通用的,知道区号不就可以获取相应的数据了吗? 代码如下: # -*- coding: utf-8 -*- """ Created on Thu Mar 17 12:

nutch-如何实现从购书网址抓取页面、再获取里面的图书信息，实现这个功能有什么比较好用的工具或者软件吗？

问题描述 如何实现从购书网址抓取页面.再获取里面的图书信息,实现这个功能有什么比较好用的工具或者软件吗? 我期望能实现一个互联网信息收集的功能,如从购书网址抓取页面.再获取里面的图书信息,实现这个功能有什么比较好用的工具或者软件吗? 解决方案 //try python //import scrapy module //http://scrapy.org //import re module //good luck 解决方案二: 任何一种编程语言都很好用.当然你什么都不会,可以用诸如按键助手.火车

远程控制-我要做一个远程日志抓取程序

问题描述 我要做一个远程日志抓取程序 我要做一个远程日志抓取程序,有没有哪位可以给我个方案,大概百十台服务器,ubuntu系统,在一台机器上执行程序抓其他所有机器上符合条件的日志 解决方案 http://blog.csdn.net/hljlzc2007/article/details/17411185 解决方案二: http://www.cnblogs.com/brucewoo/archive/2011/12/13/2285482.html 解决方案三: 通过syslog来管理 [http://

求！php获取被抓取页面的地址

问题描述 求!php获取被抓取页面的地址 问个问题http://www.abc.com/a.php 的代码如下: <?php echo file_get_contents("http://www.aaa.com/b.php"); ?> 我如何在 http://www.aaa.com/b.php中写程序,获取 http://www.abc.com/a.php 的网页地址 解决方案 $_SERVER['HTTP_REFERER'];

PHP怎样用正则抓取页面中的网址_php技巧

前言 链接也就是超级链接,是从一个元素(文字.图片.视频等)链接到另一个元素(文字.图片.视频等).网页中的链接一般有三种,一种是绝对URL超链接,也就是一个页面的完整路径:另一种是相对URL超链接,一般都链接到同一网站的其他页面:还有一种是页面内的超链接,这种一般链接到同一页面内的其他位置. 搞清楚了链接的种类,就知道要抓链接,主要还是绝对URL超链接和相对URL超链接.要写出正确的正则表达式,就必须要了解我们查找的对象的模式. 先说绝对链接,也叫作URL(Uniform Resource L

PHP curl实现抓取302跳转后页面的示例_php实例

PHP的CURL正常抓取页面程序如下: $url = 'http://www.baidu.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLO

Jsoup 抓取页面的数据实例详解

Jsoup 抓取页面的数据 需要使用的是jsoup-1.7.3.jar包   如果需要看文档我下载请借一步到官网:http://jsoup.org/ 这里贴一下我用到的 Java工程的测试代码 package com.javen.Jsoup; import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.

asp抓取页面的代码

 <%    if trim(request.form("url"))<>"" then    dim VBody:VBody=GetResStr(trim(request.form("url")))    dim Res:Res=VBody    dim code:code=GetCode(VBody,"charset= {0,}([^ ]+) {0,}""")    end if