android 封装抓取网页信息的实例代码

复制代码 代码如下:
package cn.mypic;

import java.io.BufferedInputStream; 
    import java.io.BufferedReader; 
    import java.io.File; 
    import java.io.FileNotFoundException; 
    import java.io.FileOutputStream; 
    import java.io.IOException; 
    import java.io.InputStreamReader; 
    import java.net.MalformedURLException; 
    import java.net.URL; 
    import java.util.regex.Matcher; 
    import java.util.regex.Pattern;

public class GetContentPicture { 
    //得到了图片地址并下载图片 
    public void getHtmlPicture(String httpUrl) { 
    URL url; 
    BufferedInputStream in; 
    FileOutputStream file; 
    int count;                      //图片文件名序号  
    FileNumber num=new FileNumber();//图片文件名序号类,num为对象 
    count=num.NumberReadFromFile();//获取图片文件序号 
    try { 
    System.out.println("获取网络图片"); 
       String fileName = (String.valueOf(count)).concat(httpUrl.substring(httpUrl.lastIndexOf(".")));//图片文件序号加上图片的后缀名,后缀名用了String内的一个方法来获得 
        //httpUrl.substring(httpUrl.lastIndexOf("/"));//这样获得的文件名即是图片链接里图片的名字 
       String filePath = "d:/image/";//图片存储的位置 
       url = new URL(httpUrl);

in = new BufferedInputStream(url.openStream());

file = new FileOutputStream(new File(filePath+fileName)); 
       int t; 
       while ((t = in.read()) != -1) { 
        file.write(t); 
       } 
       file.close(); 
       in.close(); 
       System.out.println("图片获取成功"); 
       count=count+1;//图片文件序号加1 
       num.NumberWriteToFile(count);//将图片名序号保存 
    } catch (MalformedURLException e) { 
       e.printStackTrace(); 
    } catch (FileNotFoundException e) { 
       e.printStackTrace(); 
    } catch (IOException e) { 
       e.printStackTrace(); 
    } 
    }

//获取网页的代码保存在String格式的Content中 
    public String getHtmlCode(String httpUrl) throws IOException { 
    String content =""; 
    URL uu = new URL(httpUrl); // 创建URL类对象 
    BufferedReader ii = new BufferedReader(new InputStreamReader(uu 
        .openStream())); // //使用openStream得到一输入流并由此构造一个BufferedReader对象 
    String input; 
    while ((input = ii.readLine()) != null) { // 建立读取循环,并判断是否有读取值 
       content += input; 
    } 
    ii.close(); 
    return content; 
    } 
    //分析网页代码,找到匹配的网页图片地址 
    public void get(String url) throws IOException {

String searchImgReg = "(?x)(src|SRC|background|BACKGROUND)=('|\")/?(([\\w-]+/)*([\\w-]+\\.(jpg|JPG|png|PNG|gif|GIF)))('|\")";//用于在网页代码Content中查找匹配的图片链接。 
    String searchImgReg2 = "(?x)(src|SRC|background|BACKGROUND)=('|\")(http://([\\w-]+\\.)+[\\w-]+(:[0-9]+)*(/[\\w-]+)*(/[\\w-]+\\.(jpg|JPG|png|PNG|gif|GIF)))('|\")";

String content = this.getHtmlCode(url);//this指对象gcp,在此地调用获取网页代码,getHtmlCode方法 
    //System.out.println(content); //输出的content将是一个连续的字符串。

Pattern pattern = Pattern.compile(searchImgReg);//java.util.regex.Pattern 
    Matcher matcher = pattern.matcher(content);     //java.util.regex.Matcher 
    while (matcher.find()) { 
       System.out.println(matcher.group(3));//输出图片链接地址到屏幕 
    // System.out.println(url); 
       this.getHtmlPicture(matcher.group(3));//对象调用getHtmlPicture从网上下载并输出图片文件到指定目录

}

pattern = Pattern.compile(searchImgReg2); 
    matcher = pattern.matcher(content); 
    while (matcher.find()) { 
       System.out.println(matcher.group(3)); 
       this.getHtmlPicture(matcher.group(3));


    // searchImgReg = 
    // "(?x)(src|SRC|background|BACKGROUND)=('|\")/?(([\\w-]+/)*([\\w-]+\\.(jpg|JPG|png|PNG|gif|GIF)))('|\")"; 
    } 
    //主函数url网页的地址 
    public static void main(String[] args) throws IOException {

String url = "http://www.baidu.com"; 
    GetContentPicture gcp = new GetContentPicture(); 
    gcp.get(url);

}

}

复制代码 代码如下:
package cn.mypic;

import java.io.*;

public class FileNumber{ 
    //文件写 
    public void NumberWriteToFile(int x){ 
       int c=0; 
       c=x; 
       File filePath=new File("d:/image");//文件名序号TXT文件保存地址 
       File f1=new File(filePath,"number.txt"); 
       try{ 
        FileOutputStream fout=new FileOutputStream(f1); 
        DataOutputStream out=new DataOutputStream(fout); 
        out.writeInt(c);


       catch(FileNotFoundException e){ 
        System.err.println(e); 
       } 
       catch(IOException e){ 
        System.err.println(e); 
       }


    //文件读 
    public int NumberReadFromFile(){ 
       int c1 = 0; 
       File filePath=new File("d:/image"); 
       File f1=new File(filePath,"number.txt"); 
       try{ 
        FileInputStream fin=new FileInputStream(f1); 
        DataInputStream in=new DataInputStream(fin); 
        c1=in.readInt(); 
        System.out.println(c1);//输出文件内容至屏幕 
       } 
       catch(FileNotFoundException e){ 
        System.err.println(e); 
       } 
       catch(IOException e){ 
        System.err.println(e); 
       } 
       return c1; 
    } 
    public static void main(String args[]){

}

}

时间: 2024-09-24 23:13:42

android 封装抓取网页信息的实例代码的相关文章

android 封装抓取网页信息的实例代码_Android

复制代码 代码如下: package cn.mypic;        import java.io.BufferedInputStream;      import java.io.BufferedReader;      import java.io.File;      import java.io.FileNotFoundException;      import java.io.FileOutputStream;      import java.io.IOException;   

ajax-请问关于java 通过http client抓取网页信息返回:请开启JavaScript并刷新该页

问题描述 请问关于java 通过http client抓取网页信息返回:请开启JavaScript并刷新该页 初学httpClient,想去抓取某个网页查询出来的结果信息,通过浏览器监控发现response出来的信息和java控制台打印出来的不一样. package com.test; import java.io.IOException; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import

大神请进来,Winform抓取网页信息,使用了Threading为什么界面还是老卡主

问题描述 大家好,我在做个抓取网页的小工具,网页打开速度慢的时候界面就会卡主无响应(如下图),我已经使用了Threading还是不行,请大神帮忙看看哈.代码如下usingSystem;usingSystem.Collections.Generic;usingSystem.ComponentModel;usingSystem.Data;usingSystem.Drawing;usingSystem.Text;usingSystem.Windows.Forms;usingHttpHelps;usin

Java正则表达式(一)、抓取网页email地址实例

实现思路: 1.使用java.net.URL对象,绑定网络上某一个网页的地址 2.通过java.net.URL对象的openConnection()方法获得一个HttpConnection对象 3.通过HttpConnection对象的getInputStream()方法获得该网络文件的输入流对象InputStream 4.循环读取流中的每一行数据,并由Pattern对象编译的正则表达式区配每一行字符,取得email地址 package regex; import java.io.Buffere

在Python中使用cookielib和urllib2配合PyQuery抓取网页信息_python

刚才好无聊,突然想起来之前做一个课表的点子,于是百度了起来. 刚开始,我是这样想的:在写微信墙的时候,用到了urllib2[两行代码抓网页],那么就只剩下解析html了.于是百度:python解析html.发现一篇好文章,其中介绍到了pyQuery. pyQuery 是 jQuery 在 Python 中的实现,能够以 jQuery 的语法來操作解析 HTML 文档.使用前需要安装,Mac安装方法如下: sudo easy_install pyquery OK!安装好了! 我们来试一试吧: fr

求教如何通过python抓取网页中表格信息

问题描述 求教如何通过python抓取网页中表格信息 刚刚开始学习python 不清楚如何通过python抓取网页中的表格信息 比如给定一个student.html 里面有学号.姓名.性别等信息 怎么样写才能够输入学号 读出其他信息? 解决方案 用正则表达式,表格数据放在table->tr->td中 解决方案二: 输入学号然后服务器在给你其他数据,应该是一个post的过程-你可以抓包看一下整个过程-至于提取特定的信息,你可以先看下整个表格的结构,再有针对性的写个正则表达式来提取出信息- 解决方

用Python程序抓取网页的HTML信息的一个小实例

  这篇文章主要介绍了用Python程序抓取网页的HTML信息的一个小实例,用到的方法同时也是用Python编写爬虫的基础,需要的朋友可以参考下 抓取网页数据的思路有好多种,一般有:直接代码请求http.模拟浏览器请求数据(通常需要登录验证).控制浏览器实现数据抓取等.这篇不考虑复杂情况,放一个读取简单网页数据的小例子: 目标数据 将ittf网站上这个页面上所有这些选手的超链接保存下来. 数据请求 真的很喜欢符合人类思维的库,比如requests,如果是要直接拿网页文本,一句话搞定: ? 1 d

Python urllib、urllib2、httplib抓取网页代码实例

  这篇文章主要介绍了Python urllib.urllib2.httplib抓取网页代码实例,本文直接给出demo代码,代码中包含详细注释,需要的朋友可以参考下 使用urllib2,太强大了 试了下用代理登陆拉取cookie,跳转抓图片...... 文档:http://docs.python.org/library/urllib2.html 直接上demo代码了 包括:直接拉取,使用Reuqest(post/get),使用代理,cookie,跳转处理 ? 1 2 3 4 5 6 7 8 9

网络爬虫-用Java来抓取网页实例中HttpClient类的问题

问题描述 用Java来抓取网页实例中HttpClient类的问题 报这么一大堆错误我也是受不了了...... 主要的问题应该是HttpClient类这个东西,在网上查了这个类是httpclient-2.x.jar包的产物,我导入的是httpclient-4.2.2.jar和httpcore-4.2.2.jar包,而这两个新的工具包并不包含HttpClient类,查阅了Java API帮助文档后,自己并没有找到HttpClient类的替代类,而是一堆接口和抽象类,由于是刚开始写这个,所以有点懵.