asp.net c# 获取网页源码三种方式

C#获取指定网页HTML原代码可使用 WebClient WebRequest HttpWebRequest 三种方式来实现。
WebClient
private string GetWebClient(string url)
{
string strHTML ="";
WebClient myWebClient =new WebClient();
Stream myStream = myWebClient.OpenRead(url);
StreamReader sr =new StreamReader(myStream, System.Text.Encoding.GetEncoding("utf-8"));
strHTML = sr.ReadToEnd();
myStream.Close();
return strHTML;
}

WebRequest

private string GetWebRequest(string url)
{
Uri uri =new Uri(url);
WebRequest myReq = WebRequest.Create(uri);
WebResponse result = myReq.GetResponse();
Stream receviceStream = result.GetResponseStream();
StreamReader readerOfStream =new StreamReader(receviceStream, System.Text.Encoding.GetEncoding("utf-8"));
string strHTML = readerOfStream.ReadToEnd();
readerOfStream.Close();
receviceStream.Close();
result.Close();
return strHTML;
}

HttpWebRequest

private string GetHttpWebRequest(string url)
{
Uri uri =new Uri(url);
HttpWebRequest myReq = (HttpWebRequest)WebRequest.Create(uri);
myReq.UserAgent ="User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";
myReq.Accept ="*/*";
myReq.KeepAlive =true;
myReq.Headers.Add("Accept-Language","zh-cn,en-us;q=0.5");
HttpWebResponse result = (HttpWebResponse)myReq.GetResponse();
Stream receviceStream = result.GetResponseStream();
StreamReader readerOfStream =new StreamReader(receviceStream, System.Text.Encoding.GetEncoding("utf-8"));
string strHTML = readerOfStream.ReadToEnd();
readerOfStream.Close();
receviceStream.Close();
result.Close();
return strHTML;
}
注意“utf-8”应与指定网页的编码对应。
总结
可以看到HttpWebRequest 方式最复杂,但确提供了更多的选择性

时间: 2024-07-30 18:14:43

asp.net c# 获取网页源码三种方式的相关文章

android获取网页源码问题

问题描述 android获取网页源码问题 以下是我从网上找的获取网页源码的 代码 所有包都已经正常导入 但是编译后 程序一运行就崩溃 求大神指点import 略; /** @author Jasonzhou @since 2013-03-21 @功能 读取网页内容 @说明 获取网页的全部代码后使用jsuop进行处理, 以便得到想要的内容**/ public class MainActivity extends Activity { public String url = ""http:

技术-用jsoup抓取网页获取网页源码的时候,得到的源码和在网站上面点击右键查看源码不相同,怎么解决

问题描述 用jsoup抓取网页获取网页源码的时候,得到的源码和在网站上面点击右键查看源码不相同,怎么解决 用jsoup抓取网页获取网页源码的时候,得到的源码和在网站上面点击右键查看源码不相同,怎么解决 Document doc = Jsoup.parse(new URL(url), 5000); 解决方案 一部分html是ajax异步加载的,你得用fiddler调试,得到这些请求,照着写 解决方案二: C++ 抓取网页的源码获取网页的源码获取网页源码工具类

HttpURLConnection获取网页源码 网址太长不能正确获取数据

问题描述 HttpURLConnection获取网页源码 网址太长不能正确获取数据 我用HttpURLConnection获取网页源码 当网址比较长的时候就无法正确连接到网页是怎么回事? 代码如下: private String getURLResponse(String urlString){ HttpURLConnection conn = null; //连接对象 InputStream is = null; String resultData = ""; try { URL u

utf-8-WinHttpRequst获取网页源码乱码

问题描述 WinHttpRequst获取网页源码乱码 返回的网页编码是utf-8的,我这样转显示乱码,应该怎么做 CString strRetData; _variant_t varRspBody = pHttpReq->GetResponseBody(); char *pContentBuffer = (char *)varRspBody.parray->pvData; strRetData = pContentBuffer; 解决方案 获取网页源码c# 获取网页源码C#获取网页源码 解决方

ie源码-VB获取网页源码,高手指导!

问题描述 VB获取网页源码,高手指导! Private Sub Command4_Click() ' On Error Resume Next Dim baiIE As Object For Each baiIE In dWinFolder If InStr(1, baiIE.FullName, "", vbTextCompare) <> 0 Then If InStr(1, baiIE.LocationURL, "www.taobao.com", vb

IHTMLDocument2获取网页源码时总是弹出安全警告

问题描述 .net中当获取网页源码时总是提出安全警告,代码如下:publicstaticstringGetDynamicHtmlFromUrl(stringsinaUrl,Encodingencoding){mshtml.HTMLDocumenthtmldoc=newmshtml.HTMLDocument();mshtml.IHTMLDocument2htmldoc2;mshtml.IHTMLDocument3htmldoc3;IPersistStreamInitips=(IPersistStr

Action获取请求参数的三种方式_Android

方式一:Action本身作为Model对象,通过属性注入(Setter)方法讲参数数据封装到Action中 具体为:在Action中,提供和参数名相同的几个属性,并为其提供set方法,那么,该参数会被自动封装 到该几个属性中. 方式二:创建独立的Model对象,还是通过属性注入的方法将请求数据封装到Model对象中 具体为:另外创建一个专门的类,并在其中添加几个和请求参数名相同的属性,,此时,在表单中,需要讲参数名, 写成Model的一个具体对象名.参数名的方式,然后在Action中,需要定义一

Action获取请求参数的三种方式

方式一:Action本身作为Model对象,通过属性注入(Setter)方法讲参数数据封装到Action中 具体为:在Action中,提供和参数名相同的几个属性,并为其提供set方法,那么,该参数会被自动封装 到该几个属性中. 方式二:创建独立的Model对象,还是通过属性注入的方法将请求数据封装到Model对象中 具体为:另外创建一个专门的类,并在其中添加几个和请求参数名相同的属性,,此时,在表单中,需要讲参数名, 写成Model的一个具体对象名.参数名的方式,然后在Action中,需要定义一

java 获取网页源码(包括js动态生成的)

问题描述 不知道那位大侠做过类似的东西,我现在就想做一个能够对网页源码解析的一个小工具,可是我试了很多种方式都不行;都说HtmlUnit这个可以加载Js生成的数据,可是我用了还是不行,HttpClient这个只能得到静态生成的网页源码.各位高手给个案例,谢谢! 解决方案 解决方案二:js动态生成的代码需要分析理解函数调用产生的结果代码(一部分是猜).解决方案三:jsoup可能会实现吧解决方案四:jsoup也不行,就是不知道如何模拟网页执行后的过程解决方案五:如果确实需要那就自己模拟个浏览器吧.解