HttpWebRequest 抓取网页数据问题!!!

问题描述

各位高手:我使用HttpWebRequest类来抓取http://kr.mouser.com网页的数据,我选择的是韩语的页面,可是抓下来的数据是中文的,哪位高手给个解决方案。万分感激!附上代码HttpWebRequestwebRequest=(HttpWebRequest)WebRequest.Create("http://kr.mouser.com");webRequest.Method="GET";webRequest.Headers.Set("Pragma","no-cache");webRequest.UserAgent="Mozilla-Firefox-Spider(Wenanry)/MISE8.0";HttpWebResponsewebResponse=(HttpWebResponse)webRequest.GetResponse();Streamstream=webResponse.GetResponseStream();StreamReaderreader=newStreamReader(stream,System.Text.Encoding.GetEncoding("utf-8"));stringresulthtml=reader.ReadToEnd();stream.Close();reader.Close();

解决方案

解决方案二:
很正常,可能对方后台判断了你抓去的ip,301重定向到了中文站
解决方案三:
有没有解决方法?
解决方案四:
这个网站会在浏览器上保留cookie记录你选择的国家。如果没这个cookie就会根据IP....重定向到IP所在国家。
解决方案五:
请求的时候加上cookiepreferences=ps=kr&pl=en-US&pc_il=USDu&pc_tr=EUR&pc_kr=KRW;
解决方案六:
楼上已给出解决方案
解决方案七:
4楼朋友,怎么加能否给演示,新手不是很精通。
解决方案八:
https://msdn.microsoft.com/zh-cn/library/system.net.httpwebrequest.cookiecontainer.aspx
解决方案九:
谢谢各位的解答,我在webResponse.Cookies的cook.Domain="www.mouser.cn",请问各位我怎样将这个改变成"kr.mouser.com",这样也许就可以取到"kr.mouser.com"的内容了。
解决方案十:
苦恼啊!到现在还是取不到。
解决方案十一:
刚刚调试断点发现在HttpWebResponsewebResponse=(HttpWebResponse)webRequest.GetResponse() 这一步执行后连接的主机发现变成了"www.mouser.cn"了。
解决方案十二:
抓取网页的时候带上cookie,pl=ko-KR就会得到你要的结果。记得结账哦·~
解决方案十三:
11楼朋友能不能给个代码演示,新手不知道如何下手,可以另外给你送分。
解决方案十四:
webRequest.Headers.Set("Accept-Language","ko-KR");

时间: 2024-12-22 03:15:00

HttpWebRequest 抓取网页数据问题!!!的相关文章

javascript-如何利用js或者jQuery抓取网页数据

问题描述 如何利用js或者jQuery抓取网页数据 有什么高效的方法吗,或者怎么实现,主要问题在于,怎么获取frame里的元素 解决方案 这个是服务器端弄的,客户端js受限于浏览器安全,无法直接获取跨域数据. 一定js可以用雅虎的yql将远程html下载转为jsonp数据,或者自己服务器做代理页面 解决方案二: bobo说的很对,要高效,建议你在服务器上抓取,或者干脆用io.js一类的将js作为本地应用的运行时.

c++builder-C++builder实现抓取网页数据,保存在本地文件,希望能给个简单的demo,我是初学者。。多谢了

问题描述 C++builder实现抓取网页数据,保存在本地文件,希望能给个简单的demo,我是初学者..多谢了 C++builder实现抓取网页数据,保存在本地文件,希望能给个简单的demo,我是初学者..工作中用到了,各位大牛,兄弟很急,在这里先多谢了!! 解决方案 用idhttp控件很方便的

抓取数据-用jsoup抓取网页数据的时候,在本地开发环境上面没有问题,但是把他部署到阿里云上面就不行

问题描述 用jsoup抓取网页数据的时候,在本地开发环境上面没有问题,但是把他部署到阿里云上面就不行 用jsoup抓取网页数据的时候,在本地开发环境上面没有问题, 但是把他部署到阿里云上面去的时候,就连接超时.但奇怪的是,我对4,5个网址进行抓取, 就一个网址连接超时,高手帮忙解决下 解决方案 有没有人在 有没有人在 有没有人在

c语言抓取网页数据的问题

问题描述 c语言抓取网页数据的问题 现有一固定网址,我需要从该网址上获取数据并拆分.希望大神能帮我实现,本人并无此类经验,请务必写出完整代码,多谢多谢 解决方案 (C语言)ACM中的数据处理问题!C语言数据转换问题C语言一维数据中2[arry]问题 解决方案二: (C语言)ACM中的数据处理问题! C语言数据转换问题 C语言一维数据中2[arry]问题 解决方案三: http://blog.chinaunix.net/uid-9950859-id-98922.htmlhttp://bbs.csd

使用HtmlAgilityPack批量抓取网页数据

原文:使用HtmlAgilityPack批量抓取网页数据 相关软件点击下载 登录的处理.因为有些网页数据需要登陆后才能提取.这里要使用ieHTTPHeaders来提取登录时的提交信息. 抓取网页  HtmlAgilityPack.HtmlDocument htmlDoc;            if (!string.IsNullOrEmpty(登录URL))            {                htmlDoc = htmlWeb.Load(登录URL, 提交的用户验证信息,

java抓取网页数据数据问题

问题描述 java抓取网页数据数据问题 !红线的位置有错误图片说明 解决方案 写的没见过--给你我常写的把. HttpClientBuilder httpClientBuilder = HttpClientBuilder.create(); CloseableHttpClient closeableHttpClient = httpClientBuilder.build(); HttpGet httpGet = new HttpGet(url); 解决方案二: org.apache.http.i

求助! 使用java抓取网页数据

问题描述 我想要抓取这个https://www.bicing.cat/es/formmap网上的有关自行车的信息改怎么样抓取??求指教! 解决方案 解决方案二:请求这个网址,然后把获取到的InputStream读出来,看看有没有你要的数据.newInputStreamReader(((HttpURLConnection)(newURL("https://www.bicing.cat/es/formmap")).openConnection()).getInputStream()); 解

实时抓取网页数据

问题描述 本人非编程出身,跪求大神指导最近在做一个程序,需要用到网页上实时变化的数字进行分析,求一段能实时抓取网页变化数字的程序. 解决方案 解决方案二:轮询可以实现解决方案三:具体点,给个例子解决方案四:写个循环啊......用线程控制时间解决方案五:有类似的例子吗jkdkud

[网络爬虫]使用node.js cheerio抓取网页数据

想要自动从网页抓一些数据或者想把一坨从什么博客上拉来的数据转成一种有结构的数据? 居然没有现成的API可以取数据?!!! !@#$@#$- 没关系 网页抓取可以解决. 什么是网页抓取? 你可能会问... 网页抓取是以编程的方式(通常不用浏览器参与)检索网页的内容并从中提取数据的过程.   本文,小编会给大家展示一套强大的抓取工具,可以快速的对网面进行抓取,而且容易上手,它是由javascript 和node.js实现的.   最近我需要爬一些大数量(谦虚的说)的页面,然后分析它们从中找到一些规律