ASP.NET数据采集的实现

这是我自己写的一个数据采集程序，是采集一个人才网里面人才的信息，第一次写Blog，写的不好不要见笑。

　　//先按照下面的字段创建一个数据表

　　以下为引用的内容：

public partial class Form2 : Form
{
public Form2()
{
InitializeComponent();
}
//姓名
public static string XM = "";
//年龄
public static string nl = "";
//性别
public static string XB = "";
//身高
public static string SG = "";
//政治面貌
public static string mm = "";
//民族
public static string MZ = "";
//学历
public static string XL = "";
//婚姻状况
public static string HK = "";
//所学专业
public static string ZY = "";
//工作经验
public static string GZJY = "";
//在职单位
public static string ZZDW = "";
//在职职位
public static string ZZZW = "";
//工作经历
public static string GZJL = "";
//要求月薪
public static string YX = "";
//工作性质
public static string GZXZ = "";
//求职意向
public static string QZYX = "";
//具体职务
public static string JTZW = "";
//期望工作地
public static string QWGZD = "";
//教育情况，语言水平，技术专长
public static string QT = "";
private void button1_Click(object sender, EventArgs e)
{
label1.Text = "正在采集数据……";

//遍历数据的页数
for (int i = 1; i <=50; i++)
{
CJ("http://www.xcjob.cn/renli.asp?pageno=" + i);
}

label1.Text = "恭喜你采集完成！";
MessageBox.Show("恭喜你采集完成！");
}

//采集数据
private void CJ(string Url)
{
//获得页面源文件(Html)
string strWebContent = YM(Url);

//按照Ｈtml里面的标签 取出和数据有关的那段源码
int iBodyStart = strWebContent.IndexOf("<body", 0);
int aaa = strWebContent.IndexOf("关键字:", iBodyStart);
int iTableStart = strWebContent.IndexOf("<table", aaa);
int iTableEnd = strWebContent.IndexOf("</table>", iTableStart);
string strWeb = strWebContent.Substring(iTableStart, iTableEnd - iTableStart);

//生成HtmlDocument
HtmlElementCollection htmlTR = HtmlTR_Content(strWeb, "tr");

foreach (HtmlElement tr in htmlTR)
{
try
{
//姓名
XM = tr.GetElementsByTagName("a")[0].InnerText;
//获得详细信息页面的网址
string a = tr.GetElementsByTagName("a")[0].GetAttribute("href").ToString();
a = "http://www.xcjob.cn" + a.Substring(11);

Content(a);
}
catch { }
}
}

//采集详细数据
private void Content(string URL)
{
try
{
string strWebContent = YM(URL);

//按照Ｈtml里面的标签 取出和数据有关的那段源码
int iBodyStart = strWebContent.IndexOf("<body", 0);
int iTableStart = strWebContent.IndexOf("浏览次数", iBodyStart);
int iTableEnd = strWebContent.IndexOf("<table", iTableStart);
int dd = strWebContent.IndexOf("</table>", iTableEnd);
string strWeb = strWebContent.Substring(iTableEnd, dd - iTableEnd + 8);

HtmlElementCollection htmlTR = HtmlTR_Content(strWeb, "table");

foreach (HtmlElement tr in htmlTR)
{
try
{
//年龄
nl = tr.GetElementsByTagName("tr")[1].GetElementsByTagName("td")[1].InnerText;
//性别
string XB_SG = tr.GetElementsByTagName("tr")[1].GetElementsByTagName("td")[3].InnerText;
XB = XB_SG.Substring(0, 1);
//身高
SG = XB_SG.Substring(11);
//政治面貌
mm = tr.GetElementsByTagName("tr")[2].GetElementsByTagName("td")[1].InnerText;
//民族
MZ = tr.GetElementsByTagName("tr")[2].GetElementsByTagName("td")[3].InnerText;
//学历
XL = tr.GetElementsByTagName("tr")[3].GetElementsByTagName("td")[1].InnerText;
//婚烟状况
HK = tr.GetElementsByTagName("tr")[3].GetElementsByTagName("td")[3].InnerText;
//所学专业
ZY = tr.GetElementsByTagName("tr")[5].GetElementsByTagName("td")[1].InnerText;
//工作经验
GZJY = tr.GetElementsByTagName("tr")[5].GetElementsByTagName("td")[3].InnerText;
//在职单位
ZZDW = tr.GetElementsByTagName("tr")[6].GetElementsByTagName("td")[1].InnerText;
//在职职位
ZZZW = tr.GetElementsByTagName("tr")[6].GetElementsByTagName("td")[3].InnerText;
//工作经历
GZJY = tr.GetElementsByTagName("tr")[7].GetElementsByTagName("td")[1].InnerText;
//要求月薪
YX = tr.GetElementsByTagName("tr")[9].GetElementsByTagName("td")[1].InnerText;
//工作性质
GZXZ = tr.GetElementsByTagName("tr")[9].GetElementsByTagName("td")[3].InnerText;
//求职意向
QZYX = tr.GetElementsByTagName("tr")[10].GetElementsByTagName("td")[1].InnerText;
//具体职务
JTZW = tr.GetElementsByTagName("tr")[10].GetElementsByTagName("td")[3].InnerText;
//期望工作地
QWGZD = tr.GetElementsByTagName("tr")[11].GetElementsByTagName("td")[1].InnerText;
//教育情况，语言水平，技术专长
QT = tr.GetElementsByTagName("tr")[13].GetElementsByTagName("td")[1].InnerText;

insert();
}
catch
{ }
}
}
catch { }
}

//将数据插入数据库
private void insert()
{
try
{
string str = "Provider=Microsoft.Jet.OleDb.4.0;Data Source=Data.mdb";
string sql = "insert into 人才信息 (姓名,年龄,性别,身高,政治面貌,民族,学历,婚烟状况,所学专业,";
sql += "工作经验,在职单位,在职职位,工作经历,要求月薪,工作性质,求职意向,具体职务,期望工作地,其他) values ";
sql += "('" + XM + "'," + nl + ",'" + XB + "','" + SG + "','" + mm + "','" + MZ + "','" + XL + "','" + HK + "','" + ZY + "','" + GZJY + "','" + ZZDW + "','" + ZZZW + "',";
sql += "'" + GZJY + "','" + YX + "','" + GZXZ + "','" + QZYX + "','" + JTZW + "','" + QWGZD + "','" + QT + "')";

OleDbConnection con = new OleDbConnection(str);
OleDbCommand com = new OleDbCommand(sql, con);
con.Open();
com.ExecuteNonQuery();
con.Close();
}
catch { }
}

//返回一个HtmlElementCollection,然后进行查询内容
private HtmlElementCollection HtmlTR_Content(string strWeb, string tj)
{
try
{
//生成HtmlDocument
WebBrowser webb = new WebBrowser();
webb.Navigate("about:blank");
//window.document返回一个htmldocument对象，表示对一个html文档的操作
//htmldocument对象是在xmldocument基础上建立的，具有xmldocument的一切方法属性
HtmlDocument htmldoc = webb.Document.OpenNew(true);
htmldoc.Write(strWeb);
HtmlElementCollection htmlTR = htmldoc.GetElementsByTagName(tj);

return htmlTR;
}
catch { return null; }
}

//获得网址原代码
private string YM(string Url)
{
string strResult = "";

try
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);
request.Method = "GET";
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream streamReceive = response.GetResponseStream();
Encoding encoding = Encoding.GetEncoding("GB2312");
StreamReader streamReader = new StreamReader(streamReceive, encoding);
strResult = streamReader.ReadToEnd();
}
catch { }

return strResult;
}
}

//这个程序写的不是太好，全都是用for循环遍历出来的，效率不是太高，那位高手可以使用 多线程 指点一下。
 

时间： 2024-11-29 05:27:43

ASP.NET数据采集的实现的相关文章

ASP.NET实现数据采集

这是我自己写的一个数据采集程序,是采集一个人才网里面人才的信息,第一次写Blog, 写的不好不要见笑. //先按照下面的字段创建一个数据表 以下为引用的内容: public partial class Form2 : Form { public Form2() { InitializeComponent(); } //姓名 public static string XM = ""; //年龄 public static string nl = ""; //性别 pu

用ASP.NET实现的数据采集

//先按照下面的字段创建一个数据表 //这个程序写的不是太好,全都是用for循环遍历出来的,效率不是太高,那位高手可以使用 多线程 指点一下 //先按照下面的字段创建一个数据表 public partial class Form2 : Form     {         public Form2()         {             InitializeComponent();         }         //姓名         public static string X

网站静态页面生成及网站数据采集的攻防

采集|静态|数据|页面 本着互联网共享主义精神,特写此文献给建站新手,授人以鱼,不如授人以渔,本文所讲的只是方法和原理,希望大家看完此文,能够从中得到些帮助和启发. 本文从一个ASP程序员的角度用大量实例祥细介绍了动态网站如何生成静态页面原理,又从一个采集程序开发者的角度去祥细介绍了网站数据采集的原理及功防策略. 关于网站生成静态页面,为了让本文读者容易理解,文内列举了目前常用的多种生成静态页面的方法,其中用了很多的实例代码进行说明. 关于网站数据采集攻防,作者本身是一个采集程序的开发者,同时作

用ASP编写网站流量统计系统

流量|统计|流量|统计     在目前的网站统计系统决大部分都是CGI的,但编写起来特别复杂,而ASP学起来简单,更有和数据库结合的优点,所以结合自己曾经做过的网站统计系统,和大家探讨一下ASP编写网站统计系统. 大家都看过网易的网站统计系统,它可以统计总访问量,每日平均访问量,当日访问量,最高访问量,最高访问日期,日流量分析,月流量分析,周流量分析,浏览器分析,等等. 其实要做一个ASP的访问统计系统关键是系统表结构的设计.以及如何来采集用户的CGI变量,如何来显示用户的信息.也就是说系统的关

ASP编写网站流量统计系统研究

流量|统计 ASP学起来简单,更有和数据库结合的优点,所以结合自己曾经做过的网站统计系统,和大家探讨一下ASP编写网站统计系统. 大家都看过网易的网站统计系统,它可以统计总访问量,每日平均访问量,当日访问量,最高访问量,最高访问日期,日流量分析,月流量分析,周流量分析,浏览器分析,等等. 其实要做一个ASP的访问统计系统关键是系统表结构的设计.以及如何来采集用户的CGI变量,如何来显示用户的信息.也就是说系统的关键是两个ASP程序,统计程序和显示程序. 首先我们先看看如何来采集用户的访问信息.

如何用ASP编写网站统计系统

在目前的网站统计系统决大部分都是CGI的,但编写起来特别复杂,而ASP学起来简单,更有和数据库结合的优点,所以结合自己曾经做过的网站统计系统,和大家探讨一下ASP编写网站统计系统. 大家都看过网易的网站统计系统,它可以统计总访问量,每日平均访问量,当日访问量,最高访问量,最高访问日期,日流量分析,月流量分析,周流量分析,浏览器分析,等等. 其实要做一个ASP的访问统计系统关键是系统表结构的设计.以及如何来采集用户的CGI变量,如何来显示用户的信息.也就是说系统的关键是两个ASP程序,统计程序和显

如何用ASP编写网站统计系统（二） (转自gaoshan)

统计 如何用ASP编写网站统计系统(二) 1.取得用户的操作系统. 在ASP中使用如下语句可以得到访问者的http_user_agent字符串. Dim StrUserAgent StrUserAgent=Request.ServerVariables("HTTP_USER_AGENT") 这个字符串一般是如下格式: Mozilla/4.0 (compatible; MSIE 4.01; Windows 98) 上面的字符串可以说明访问者使用的操作系统是Windows98,浏览器是MS

如何用ASP编写网站统计系统二

 1.取得用户的操作系统.  在ASP中使用如下语句可以得到访问者的http_user_agent字符串.  Dim StrUserAgent  StrUserAgent=Request.ServerVariables("HTTP_USER_AGENT")  这个字符串一般是如下格式:  Mozilla/4.0 (compatible; MSIE 4.01; Windows 98)  上面的字符串可以说明访问者使用的操作系统是Windows98,浏览器是MSIE 4.01,但是这个字符

怎样用ASP编写网站统计系统二

统计 1.取得用户的操作系统. 在ASP中使用如下语句可以得到访问者的http_user_agent字符串. Dim StrUserAgent StrUserAgent=Request.ServerVariables("HTTP_USER_AGENT") 这个字符串一般是如下格式: Mozilla/4.0 (compatible; MSIE 4.01; Windows 98) 上面的字符串可以说明访问者使用的操作系统是Windows98,浏览器是MSIE 4.01,但是这个字符串格式不