怎么对MySQL数据库操作大数据?这里有思路

最近学到一招关于使用java代码操作MySQL数据库,对大文本数据(LOB)进行CRUD的技巧,虽然向数据库很少向中存入大文本文件(一般都是存储在硬盘上),但是还是很有必要知道这一技巧的。下面我就来说一说我学到的这个小技巧咯。


CLOB操作



所谓CLOB,一般是指关于文本文件的数据,今天我就拿txt文件来测试吧。
必要的流程如下:

  • 在MySQL数据库中建好testclob表
  • 向Eclipse中导入相关的jar包
  • 写代码进行测试


textblob.sql如下:

create table testclon(
id varchar(40) primary key,
resume clob
);


导入相关的符合要求的mysql驱动的jar包。



测试代码如下:

package LOB_Sample;

import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.Reader;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

import org.junit.Test;

import utils.JDBCUtils;

public class CLOB {

    @Test
    public void insert() throws Exception {
        Connection conn = null;
        PreparedStatement ps = null;
        ResultSet rs = null;

        try{
            conn = JDBCUtils.getConnection();
            String sql = "insert into testclob(id,resume) values(?,?)";
            ps = conn.prepareStatement(sql);
            ps.setString(1, "1");

            //先获取一个流,用于读取大文本数据
            File file = new File("src/jdbcutils.txt");
            FileReader reader = new FileReader(file);
            ps.setCharacterStream(2, reader, (int)file.length());
            int num = ps.executeUpdate();
            if(num>0){
                System.out.println("大文本数据插入成功!");
            }

        }catch(Exception e){
            throw new RuntimeException(e);
        }finally{
            //最重要的一步,用完资源一定要实现资源的释放
            JDBCUtils.release(conn, ps, rs);
        }

    }

    @Test
    public void read() throws Exception {
        Connection conn = null;
        PreparedStatement pst = null;
        ResultSet rs = null;

        try{
            conn = JDBCUtils.getConnection();
            String sql = "select * from testclob where id ='1'";
            pst = conn.prepareStatement(sql);
            rs = pst.executeQuery();
            if(rs.next()){
                Reader reader = rs.getCharacterStream("resume");
                FileWriter writer = new FileWriter("src/result.txt");
                try{
                    int len = 0;
                    char[] buffer = new char[1024];
                    while((len = reader.read(buffer))>0){
                        writer.write(buffer, 0, len);
                    }
                }finally{
                    reader.close();
                    writer.close();
                }

            }

        }catch(Exception e){
            throw new RuntimeException(e);
        }finally{
            JDBCUtils.release(conn, pst, rs);
        }

    }

}

测试结果简单,就不贴图了。



小总结:

  • 对于clob类型的数据,存进去的时候需要借助于一个流对象,先将数据转换成二进制,才能进行存储。
  • 读取clob文件的时候要使用rs.getCharacterStream("resume");,记忆方式是“怎么存进去,怎么取出来”所以就需要以流的形式获得了。
  • 最后使用File的原因是,流操作需要知道流的长度信息,所以使用到了File。

BLOB操作



对于图片数据(BLOB),我们同样可以使用相似的代码进行操作。流程如下:
项目目录如下:

  • 先在数据库中创建一个表的实例,testblob.sql
  • 导入相关的jar包驱动
  • 书写代码进行测试

要插入的图片如下:

数据库的建表语句如下:

create table testblob(
id varchar(40) primary key,
image blob
);


导入相关的jar包,我的工程的jar包文件名称为mysql-connector-java-5.0.8-bin.jar



具体的操作代码如下:

package LOB_Sample;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

import org.junit.Test;

import utils.JDBCUtils;

public class BLOB {

    @Test
    public void insert() throws Exception {
        Connection conn = null;
        PreparedStatement pst = null;
        ResultSet rs = null;

        try{
            conn = JDBCUtils.getConnection();
            String sql = "insert into testblob values(?,?)";
            pst = conn.prepareStatement(sql);
            pst.setString(1, "图片一");

            File file = new File("src/picture1.jpg");
            FileInputStream fis = new FileInputStream(file);
            pst.setBinaryStream(2, fis, (int)file.length());

            int flag = pst.executeUpdate();
            if(flag > 0 ){
                System.out.println("图片插入数据库成功!!!");
            }else{
                System.out.println("对不起,图片插入数据库失败!!!");
            }

        }catch(Exception e){
            throw new RuntimeException(e);
        }finally{
            JDBCUtils.release(conn, pst, rs);
        }
    }

    @Test
    public void read() throws Exception {
        Connection conn = null;
        PreparedStatement pst = null;
        ResultSet rs = null;

        try{
            conn = JDBCUtils.getConnection();
            String sql = "select image from testblob where id ='图片一'";

            pst = conn.prepareStatement(sql);

            rs = pst.executeQuery();
            if(rs.next()){
                FileOutputStream fos =null;
                InputStream in = null;
                try{
                    File file = new File("src/new.jpg");
                    fos = new FileOutputStream("src/newPicture.jpg");
                    in = rs.getBinaryStream("image");

                    int len = 0;
                    byte [] buffer = new byte[1024];
                    while((len=in.read(buffer))>0){
                        fos.write(buffer,0,len);
                    }

                }catch(Exception e){
                    throw new RuntimeException(e);
                }finally{
                    fos.close();
                    in.close();
                }

            }

        }catch(Exception e){
            throw new RuntimeException(e);
        }finally{
            JDBCUtils.release(conn, pst, rs);
        }
    }

}


代码运行结果如下:



经JUnit测试,可以获得正确的图片文件。

需要注意的是,代码中用到的JDBCUtils工具类是自己写的一个获得数据库连接的工具类,同样也是我clob测试获得的那个文件。其具体内容如下:

package utils;

import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Properties;

/**
 * MySQL数据库工具类
 * @author Summer
 *
 */
public class JDBCUtils {

    //创建一个配置文件,用于读取相应配置文件中保存的数据信息
    private static Properties config = new Properties();

    /*
     * 为了只加载一次驱动程序,因此在静态代码块中进行声明,这样驱动就只会加载一次
     */
    static{

        try {
            config.load(JDBCUtils.class.getClassLoader().getResourceAsStream("db.properties"));
//          Class.forName("com.mysql.jdbc.Driver");
            Class.forName(config.getProperty("DRIVER"));

        } catch (ClassNotFoundException | IOException e) {
            // TODO Auto-generated catch block
            throw new ExceptionInInitializerError();
        }
    }

    /**
     * 返回数据库连接对象
     * @return
     */
    public static Connection getConnection(){

        Connection  conn = null;

        try {
            conn =  DriverManager.getConnection(config.getProperty("URL"),
                    config.getProperty("USER"),config.getProperty("PASSWORD"));
        } catch (SQLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        return conn;
    }

    /**
     * 释放数据库链接资源
     * @param conn
     * @param st
     * @param rs
     */
    public static void release(Connection conn,PreparedStatement pst, ResultSet rs){
        /*
         * 释放数据库连接资源的时候注意释放的顺序,先申请的资源后释放
         */

        //释放结果集对象
        if(rs!=null){
            try {
                rs.close();
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                rs=null;
                e.printStackTrace();
            }
        }

        //释放查询对象
        if(pst!=null){
            try {
                pst.close();
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                pst=null;
                e.printStackTrace();
            }
        }

        //释放数据库连接
        if(conn!=null){
            try {
                conn.close();
            } catch (SQLException e) {
                // TODO Auto-generated catch block
                conn=null;
                e.printStackTrace();
            }
        }
    }

}

//而这里面需要的配置信息在db.properties文件中,其实就是DRIVER,URL,USER,PASSWORD四个数据库连接必备信息,也是很简单的数据,故就不在贴出。

总结


  • 对于数据库的JDBC操作,一定要记得释放数据库连接资源,否则会有意想不到的错误。
  • 存储大文本数据的时候,记得方式的前后一致性,即PreparedStatement与ResultSet操作的一致性
  • 应该使用PreparedStatement来防止SQL注入(原因是其会先进行检测)


好了,大致的操作就是这样了,希望此篇拙文能给广大博友些许帮助。如果有错误的地方,还望指出,不胜感激!

时间: 2024-10-01 14:42:22

怎么对MySQL数据库操作大数据?这里有思路的相关文章

如何在Java程序中访问mysql数据库中的数据并进行简单的操作_Mysql

在上篇文章给大家介绍了Myeclipse连接mysql数据库的方法,通过本文给大家介绍如何在Java程序中访问mysql数据库中的数据并进行简单的操作,具体详情请看下文. 创建一个javaProject,并输入如下java代码: package link; import java.sql.*; /** * 使用JDBC连接数据库MySQL的过程 * DataBase:fuck, table:person: * 使用myeclipse对mysql数据库进行增删改查的基本操作. */ public

简单快速有趣的MySQL数据库操作类:SimpleDB

mysql|数据|数据库 自己写着玩的,代码没有测试,不过觉得思路不错,如果能够加上部分异常处理的功能,应该比较帅了,支持PHP4/PHP5,恩,虽然没有ADOdb或者PEAR::DB强,不错一般应用应该不错,恩. 喜欢的就自己拿去用吧,自己随便改,呵呵,也欢迎提意见.(注释遵循PHPDoc的标准,便于生成手册)  注意:代码未经测试,出现问题可要自己负责哇,呵呵.         <?//==========================================// 文件: Simp

php实现的mysql数据库操作类

 这篇文章主要介绍了php实现的mysql数据库操作类,本文最后有使用方法,需要的朋友可以参考下  代码如下: <?php /* 数据库操作类 */ class Mysql{  private $LocalHost = 'localhost';  private $LoaclUser = 'root';  private $LocalPass = '123456';  private $LocalBase = 'jiangxibaiyi';  private $LocalCode = 'UTF8

qt连接MySQL数据库操作问题

问题描述 qt连接MySQL数据库操作问题 在qt项目中,main函数中连接了数据库,且连接成功,在其他函数中如何操作数据库,使用的是MySQL数据库,新手求大神指点! 解决方案 你可以把connection保存在一个全局变量里,别的函数操作它就可以了.http://blog.csdn.net/cgzhello1/article/details/8619276 解决方案二: 把这定义成全局的, _ConnectionPtr m_pConn; 用的时候 Execute 解决方案三: 定义全局 _C

java怎么调用mysql数据库里面的数据

问题描述 java怎么调用mysql数据库里面的数据 比如用户注册,要怎么调用数据库里面的数据以此来判断用户名有没有被注册 解决方案 java提供了操作数据库的工具jdbc,用jdbc连接数据库,可以查询表记录,然后与用户输入进行比对.这里有一个简单的登陆例子,参考一下:http://www.2cto.com/kf/201401/270812.html 解决方案二: java调用MySQL数据库 解决方案三: 用户注册,一般来说有一个唯一的标志,例如:用户名.如果用户注册时输入的用户名已经在数据

php pdo mysql数据库操作类

原文:php pdo mysql数据库操作类   findAll(array( 'field'=>'ID,albumName,albumImage, mainActor,directors,tags,info,area, keywords,wflag,year,mod_version,totalDuration', 'where'=>$where, 'order'=>'flag desc,hit_count desc', 'limit'=>"{$limit['offset

2012年数据库与大数据领域回顾与展望

本文讲的是2012年数据库与大数据领域回顾与展望,2012注定是不平凡的一年,玛雅人将世界末日定在这一年的12月21日,然而这一天也许并不意味着结束,而是重生.正如2012对于大数据的意义一样,经过一年的历练,IT业界将在2013年迎来大数据元年. 一.2012年度回顾:大数据蓄势待发迎接元年 (一)2012年大数据呈现新特征 大数据不是刚刚出现的概念,"大数据"最早可以追溯到Apache的开源项目Nutch,当时大数据用来描述更新网络搜索索引所需批量处理或分析的大量数据集.随着谷歌M

java实现连接mysql数据库单元测试查询数据的实例代码_java

1.按照javaweb项目的要求逐步建立搭建起机构,具体的类包有:model .db.dao.test; 具体的架构详见下图: 2.根据搭建的项目架构新建数据库test和数据库表t_userinfo并且添加对应的测试数据; (这里我使用的是绿色版的数据库,具体的下载地址:http://pan.baidu.com/s/1mg88YAc) 具体的建立数据库操作详见下图: 开发实例"> 3.编写包中的各种类代码,具体参考代码如下: UserInfo.java /** * FileName: Us

MySQL数据库结构和数据的导出和导入_DB2

正在看的db2教程是:MySQL数据库结构和数据的导出和导入. 导出要用到MySQL的mysqldump工具,基本用法是: shell> mysqldump [OPTIONS] database [tables] 如果你不给定任何表,整个数据库将被导出. 通过执行mysqldump --help,你能得到你mysqldump的版本支持的选项表. 注意,如果你运行mysqldump没有--quick或--opt选项,mysqldump将在导出结果前装载整个结果集到内存中,如果你正在导出一个大的数据