经过一周的挣扎,目前天气预报抓取解析插入数据库的功能已经大致实现,附项目源码

 

将中国天气网近六天(因为有些城市提供的数据源只有五天数据,所以我暂时取5天,程序里依然是六天的标准)的天气情况抓取,用JSON解析,存入数据库,数据库是两张表,城市表和天气表。程序可以运行,两个表都能读入数据,城市表大致读入了423行数据,天气表大致读入了1800行数据。程序的缺点在于,暂时还没写注释,面向对象还未体现,没有实现每天定时抓取的性能,需要人工每天手动运行程序抓取数据。。。。。

 

附源码:

http://download.csdn.net/detail/opzoonzhuzhengke/3860118

刚才实现了一下定时抓取

不贴代码了,大致看下这个例子,改吧改吧就行了

import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;

public class Tim {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		Timer tt=new Timer();
		TimerTaskMine tk=new TimerTaskMine();
		System.out.println((new Date()).toString());
		tt.schedule(tk, 1000*5, 1000*2);//第一次先等待5秒,以后每隔2秒走一次run方法。

//		tt.schedule(tk, 1000*3);//等待3秒,然后只执行1次。

	}

}

class TimerTaskMine extends TimerTask{
	int i=0;
	int kkk=0;

	@Override
	public void run() {
		i++;kkk++;
		// TODO Auto-generated method stub
		System.out.println((new Date()).toString()+"--i--"+i+"--kkk--"+kkk);
		try {
			Thread.sleep(1000*4);//这句代码,把schedule(1,2,3)第3个参数覆盖掉了,
			//这里是4秒,即使你在schedule方法中这的是2秒也使用4秒

			if(this.i==5){
				this.cancel();
			}
		} catch (InterruptedException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}

}

Timer类就像一个定时器,用于设置特定的时间或周期,来配合线程动作的执行,但是只调用Timer无法执行线程动作,必须配合另一个类TimerTask的方法才能使用。从示例6-13中可以发现Timer类与Thread类很相近。

public
Timer ()

创建一个新的timer对象。

Timer属于计时器类,Time建立后,需要调用schedule()方法来执行计划任务,计划调度的方法有许多运用方式:

public
void schedule (TimerTask task, long delay)

执行任务前先等待一段时间。task代表要执行的任务,delay代表需要等待的时间,单位为毫秒(1000毫秒为1秒)。

 

 

public
void schedule (TimerTask task,Date
time)

在指定的系统时间time之后开始执行任务。

 

 

public
void schedule (TimerTask task,long
delay,long
period)

延迟一段时间后开始执行任务,任务按照设定的周期执行。传入的参数:delay为延迟时间,period为周期时间,单位均为毫秒。

 

 

public
void schedule(TimerTask task,Date
firstTime,long
period)

在指定的时间后开始执行任务,任务按照设定的周期执行。传入的参数:firstTime为指定等待时间,period为周期时间,单位都是毫秒。

 

 

public
void scheduleAtFixedRate (TimerTask task,long
delay,long
period)

执行任务内容后,等待delay时间,再按照period周期时间继续执行任务,单位都是毫秒。

 

 

public
void scheduleAtFixedRate(TimerTask
task,Date
firstTime,long
period)

先等待一段时间firstTime,再执行计划任务,然后按照period周期时间继续执行任务,单位都是毫秒。

 

 

public
void cancel()

停止timer计时。

 

有了Timer的各项调用方法,还不能直接执行计划任务,需要跟TimerTask类共同运用才能使计划任务开始运行。TimerTask所包含的相关方法如下:

public
void TimerTask ()

创建一个新的TimerTask对象。

 

public
abstract void run()

运行计划任务的工作内容。

 

public
void cancel()

中止TimerTask类的执行流程,不再执行所调度的工作内容。

 

public
void scheduleExcutionTime()

实际运行计划任务所用的时间。

时间: 2025-01-21 01:26:24

经过一周的挣扎,目前天气预报抓取解析插入数据库的功能已经大致实现,附项目源码的相关文章

工具-【在线等/SEO】抓取百度排名快照的功能?

问题描述 [在线等/SEO]抓取百度排名快照的功能? 实在找不到好的思路去**优化抓取百度排名快照**的功能了, 只有在这里发帖了. 有没有哪位朋友做过这样的功能.或者有没有什么 API 可以接入的. 急,感激不尽.(小弟C币不多,有机会给发红包) PS:现在我通过程序能够抓取到排名的快照数据,但是太慢了.有没有其他方式能够更快的获取到排名的数据. 解决方案 // 我的问题没有描述清楚吗? // 为什么没有人来呢. 解决方案二: // 人呢? 我准备发红包了.

天气预报抓取、解析(传递抓取的info参数)功能模块实现(代码)

package com.zzk.cn; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.UnsupportedEncodingException; import java.net.HttpURLConnection; import java.net.MalformedURLE

天气预报抓取天气信息模块实现(代码)

package com.zzk.cn; import java.io.*; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import javax.xml.ws.ProtocolException; public class CatchWeather { public static void main(String[] args ) { System.o

使用正则表达式和REPLACE,SPLIT获得7,8,9天单个城市天气情况抓取解析代码

代码写的很凌乱,正则用得也不是很好,不过还是实现了功能,贴出代码 package com.zzk.cn; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import java.net.

编码-python抓取网页,网页源码无法解码

问题描述 python抓取网页,网页源码无法解码 抓取的网页:http://esf.nanjing.fang.com/ 浏览器查看源码显示content="text/html; charset=gb2312" python chardet 结果显示{'confidence': 0.0, 'encoding': None} 通过page=page.decode('gb2312','ignore').encode('utf-8'),解码后print为乱码 求问应该如何对这个网页的源代码进行

零基础写Java知乎爬虫之抓取知乎答案_java

前期我们抓取标题是在该链接下: http://www.zhihu.com/explore/recommendations 但是显然这个页面是无法获取答案的. 一个完整问题的页面应该是这样的链接: http://www.zhihu.com/question/22355264 仔细一看,啊哈我们的封装类还需要进一步包装下,至少需要个questionDescription来存储问题描述: import java.util.ArrayList;public class Zhihu { public St

Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的_应用技巧

Asp 使用 Microsoft.XMLHTTP 抓取网页内容(没用乱码),并过滤需要的内容 示例源码: 复制代码 代码如下: <% Dim xmlUrl,http,strHTML,strBody xmlUrl = Request.QueryString("u") REM 异步读取XML源 Set http = server.CreateObject("Microsoft.XMLHTTP") http.Open "POST",xmlUrl,

Asp 使用 Microsoft.XMLHTTP 抓取网页内容并过滤需要的

Asp 使用 Microsoft.XMLHTTP 抓取网页内容(没用乱码),并过滤需要的内容 示例源码: 复制代码 代码如下: <% Dim xmlUrl,http,strHTML,strBody xmlUrl = Request.QueryString("u") REM 异步读取XML源 Set http = server.CreateObject("Microsoft.XMLHTTP") http.Open "POST",xmlUrl,

如何实现对固定页内面内容的自动抓取?

问题描述 现在做一个B/S的程序,想实现在后台能自动抓取别的网站的天气预报内容,然后插入到自己的数据库中,不知道自动抓取的时机是什么?最好是能设置一个时间,在此时间时,然后就抓取内容插入到数据库中.不要那种点一个按钮触发的,要完全自动的,就像服务一样的.也不要C/S的小程序,大家给提供点思路好不好?很急. 解决方案 解决方案二:百度搜索"webservice接口天气预报"解决方案三:客户要求的不用webservice,必须抓取那个网页上的内容.现在的问题在于不知道如何触发写的那个程序执