用JSP抓取网址

js

import java.io.*;
import java.net.*;
import java.util.*;

class url2htm{

static private url2htm instance; // Create the only instance of the class

public static String strURL=""; // Announce the universial variable to mark the destination URL

public static String strFile=""; // Announce the universial variable to mark the local file path

/**
* Construct the private function to prevent other
* Application from creating the instance of this class
*/
private url2htm(){

init();

}
/**
* The main function that will invoke the application
*/
public static void main(String args[]){

url2htm instUrl2htm = new url2htm(); // Create the instance of the default class

instUrl2htm.write(); // Invoke the chief function
}

/**
* The setProperties() function will set the two major
* variables to the class
* @para propNames
* @para name
*/
private void setProperties(Properties props){

Enumeration propNames = props.propertyNames();

while(propNames.hasMoreElements()){

String name = (String) propNames.nextElement();

if(name.endsWith(".url")){

String webName = name.substring(0,name.lastIndexOf("."));

strURL = props.getProperty(webName + ".url");

strFile = props.getProperty(webName + ".file");

}
}
}

/**
* The getURL() function will return the URL string
*/
private void getURL(){

System.out.println(strURL);

}

/**
* The getFile() function will return the local file and path
*/
private void getFile(){

System.out.println(strFile);

}

/**
* The write() function will read the dest URL as input stream and
* Write into a local file
* @para fileline
* @para url
*/
private static void write(){

String fileline;

String url = strURL;

try {

URL destURL = new URL(url);

InputStream in = destURL.openStream();

BufferedReader filedata = new BufferedReader(new InputStreamReader(in));

FileOutputStream out = new FileOutputStream(strFile);

PrintStream prtStream = new PrintStream(out);

while ((fileline = filedata.readLine()) != null) {

prtStream.println(fileline + "\n");

}
prtStream.close();

}

catch (IOException e) {

System.out.println("Error in I/O:" + e.getMessage());

}

}

/**
* The init() function will read the property file and set the
* Class'' constants
* @para is: the input stream
* @para webProp: the web site properties
*/
private void init()
{

InputStream is = getClass().getResourceAsStream("web.properties"); // Data input stream

Properties webProps = new Properties();

try
{
webProps.load(is);
}

catch (Exception e)
{
System.err.println("Can''t read the property file. " + "Please make sure the property file is in its path");
return;
}
setProperties(webProps);
}
}

时间: 2024-09-12 05:32:41

用JSP抓取网址的相关文章

软件-java 抓取 网址 下载 图标 版本号

问题描述 java 抓取 网址 下载 图标 版本号 能不能通过一个网站地址获取我要下载的软件的下载地址,软件版本号,和软件的图标 桶过java实现

JSP抓取网页代码的程序

js|程序|网页 <%@ page contentType="text/html;charset=gb2312"%> <% String sCurrentLine; String sTotalString; sCurrentLine=""; sTotalString=""; java.io.InputStream l_urlStream; java.net.URL l_url = new java.net.URL("h

JSP抓取网页代码的程序_JSP编程

<%@ page contentType="text/html;charset=gb2312"%><%   String sCurrentLine;   String sTotalString;   sCurrentLine="";   sTotalString="";   java.io.InputStream l_urlStream;   java.net.URL l_url = new java.net.URL("

C#根据网址抓取目录和文件名的两个函数

函数|文件名 C#根据网址抓区目录和文件名的两个函数  我学这个软件开始都思考这个问题了.今天终于完善了这个代码.高兴得很 2006-10-20 ,难道是晚上工作效率更高精神更集中的原因么?哈哈 public void GetUrlFolerName(string strHtmlPagePath)  {   //抓取网址字符串中的文件目录     int at = 0;   int start = 0;    int notei=0;   int endi=0;   int[] myIntArr

PHP怎样用正则抓取页面中的网址_php技巧

前言 链接也就是超级链接,是从一个元素(文字.图片.视频等)链接到另一个元素(文字.图片.视频等).网页中的链接一般有三种,一种是绝对URL超链接,也就是一个页面的完整路径:另一种是相对URL超链接,一般都链接到同一网站的其他页面:还有一种是页面内的超链接,这种一般链接到同一页面内的其他位置. 搞清楚了链接的种类,就知道要抓链接,主要还是绝对URL超链接和相对URL超链接.要写出正确的正则表达式,就必须要了解我们查找的对象的模式. 先说绝对链接,也叫作URL(Uniform Resource L

A5虫虫营销助手9月3日售后群分享:文章采集与网址抓取

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 A5虫虫营销助手售后群有很多高手.为了让各位学到更多东西,我们定期组织交流分享活动,把分享氛围带动起来,把高手的经验挖掘出来,帮助各位建立人脉,更加快速的进步.我们致力于把虫虫售后群打造成互联网网站/营销高手群.在这里,你学到的不仅是关于虫软. 以后不出意外,我们每周六晚8:30会举办分享活动,欢迎各位准时参加,也欢迎各位联系我,把你的心得分

C#如何抓取分页信息的网页内容

问题描述 想抓取第二页到最后一页的网页信息该怎么抓取(网址:http://www.gzggzy.cn/cms/wz/view/index/layout2/szlist.jsp?siteId=1&channelId=505&pchannelid=466&curgclb=01,02&curxmlb=01,02,03,04,05&curIndex=4&pcurIndex=1&cIndex=1) 解决方案 解决方案二:请求网页->得到网页->解析

百度站长平台lee:谈spider抓取过程中的策略

A5站长网8月22日消息,此前百度站长平台Lee曾分享过关于搜索引擎抓取系统中有关抓取系统基本框架.抓取中涉及的网络协议.抓取的基本过程的内容,今日Lee再次通过百度站长平台分享搜索引擎抓取系统第二部分内容-spider抓取过程中的策略. Lee表示spider在抓取过程中面对着复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略.并简单介绍了抓取过程中涉及到的主要策略类型. 在百度站长平台社区-你问lee答

Linux抓取批量下载地址

视频网站在线播放列表如下图所示: 查看源代码:   <div class="fj1"><span>第1集</span> <a href="/eschool/video/autohtml/310/261/0.shtml" target="_blank">1 C++简介</a></div> <div class="fj1"><span>