抓取页面遇到url编码的问题

问题描述

最近在抓取一个网站，发觉这个网址的中文部分用了escape进行了编码。于是在C#构建url的时候，也模仿这个网址，对参数部分进行了escape编码。最终生成的url和那个网址是一模一样的，直接复制去浏览器也能打开访问。对方网站能顺利把编码部分的参数解析成中文。但是，在C#后台用代码进行抓取，却显示该网址后面带的参数没有被那个网站解析成中文，而是直接显示在网站中。试过HttpResponseMessage和HttpWebRequest等方式抓取，都是一样的情况。

解决方案

解决方案二：
请求的那一部分代码贴出来看看，有没有使Uri类？

时间： 2024-09-30 22:17:09

抓取页面遇到url编码的问题的相关文章

asp抓取页面的代码

 <%    if trim(request.form("url"))<>"" then    dim VBody:VBody=GetResStr(trim(request.form("url")))    dim Res:Res=VBody    dim code:code=GetCode(VBody,"charset= {0,}([^ ]+) {0,}""")    end if   

asp抓取页面

<%    if trim(request.form("url"))<>"" then    dim VBody:VBody=GetResStr(trim(request.form("url")))    dim Res:Res=VBody    dim code:code=GetCode(VBody,"charset= {0,}([^ ]+) {0,}""")    end if   

Python实现抓取页面上链接的简单爬虫分享_python

除了C/C++以外,我也接触过不少流行的语言,PHP.java.javascript.python,其中python可以说是操作起来最方便,缺点最少的语言了. 前几天想写爬虫,后来跟朋友商量了一下,决定过几天再一起写.爬虫里重要的一部分是抓取页面中的链接,我在这里简单的实现一下. 首先我们需要用到一个开源的模块,requests.这不是python自带的模块,需要从网上下载.解压与安装: 复制代码 代码如下: $ curl -OL https://github.com/kennethreitz/

python-问一个关于Python抓取页面跳转的问题（略愚蠢。。。）

问题描述 问一个关于Python抓取页面跳转的问题(略愚蠢...) 真的.可能这问题真的挺愚蠢...但咱还是厚着脸皮问下大神了... 问题是这样的:我在做一个抓取我们学校教务系统课表的爬虫,登陆的已经写好了,问题出在登陆以后怎么跳转. 登陆后的页面和切换到(跳转到)课程表页面的url是一样一样的... 而且wireshark抓包也没发现任何post数据包 教务系统截图如下 也是没任何post包,我试了下postdata也是没抓取到课程表页面... 总结一下: 1.页面跳转后url和跳转前一致 2

PHP怎样用正则抓取页面中的网址_php技巧

前言 链接也就是超级链接,是从一个元素(文字.图片.视频等)链接到另一个元素(文字.图片.视频等).网页中的链接一般有三种,一种是绝对URL超链接,也就是一个页面的完整路径:另一种是相对URL超链接,一般都链接到同一网站的其他页面:还有一种是页面内的超链接,这种一般链接到同一页面内的其他位置. 搞清楚了链接的种类,就知道要抓链接,主要还是绝对URL超链接和相对URL超链接.要写出正确的正则表达式,就必须要了解我们查找的对象的模式. 先说绝对链接,也叫作URL(Uniform Resource L

php抓取页面与代码解析 推荐_php技巧

得到数据我们不能直接输出,往往需要对内容进行提取,然后再进行格式化,以更加友好的方式显现出来.下面先简单说一下本文的主要内容: 一. PHP抓取页面的主要方法: 1. file()函数 2. file_get_contents()函数 3. fopen()->fread()->fclose()模式 4.curl方式 5. fsockopen()函数 socket模式 6. 使用插件(如:http://sourceforge.net/projects/snoopy/) 二.PHP解析html或x

php file_get_contents 设置代理抓取页面示例

例1,普通页面获取 例如,访问54master论坛,想抓取首页里 所有h3标记内的元素.  代码如下 复制代码 $url=http://www.111cn.net; $contents=@file_get_contents($url); //preg_match_all("/<p class="right forumcount">(.*?)</p>/is",$contents,$content); preg_match_all("/

php抓取页面的几种方法详解_php技巧

在 做一些天气预报或者RSS订阅的程序时,往往需要抓取非本地文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url地址, 然后得到html源代码或者xml数据,得到数据我们不能直接输出,往往需要对内容进行提取,然后再进行格式化,以更加友好的方式显现出来.下面简单说一下php抓取页面的几种方法及原理:一. PHP抓取页面的主要方法:1. file()函数    2. file_get_contents()函数  3. fopen()->fread()->fclose()模式 

Jsoup 抓取页面的数据实例详解

Jsoup 抓取页面的数据 需要使用的是jsoup-1.7.3.jar包   如果需要看文档我下载请借一步到官网:http://jsoup.org/ 这里贴一下我用到的 Java工程的测试代码 package com.javen.Jsoup; import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.