优化JDBC中读取大数据字段,提高并发能力

在获取大数据量文本字段时,如果直接rs.getString(),当同时很多人访问量,会导致内存占用高,系统响应变慢,因此我们可以采用循环读取256字节,这样就大大提高了并发能力。以下是代码实现

public static String getLargeTextField(ResultSet rs, int columnIndex)
        throws SQLException
    {
        Reader bodyReader = null;
        String value = null;
        if(isStreamTextRequired()){
          bodyReader = rs.getCharacterStream(columnIndex);
          if (bodyReader != null)
            try {
              char buf[] = new char[256];
              StringWriter out = new StringWriter(256);
              int len;
              while ( (len = bodyReader.read(buf)) >= 0)
                out.write(buf, 0, len);
              value = out.toString();
              out.close();
            }
            catch (Exception e) {
              logger.error(e);
              throw new SQLException("Failed to load text field");
            }
          finally {
            try {
              bodyReader.close();
            }
            catch (Exception e) {}
          }
          return value;
        }
        return rs.getString(columnIndex);
    }

时间: 2024-10-29 07:56:32

优化JDBC中读取大数据字段,提高并发能力的相关文章

风控中的大数据和机器学习

本篇文章只关注个人信用借款的风控.抵押贷,企业贷不在讨论范围中. ◆ ◆ ◆ 1. 风控的意义 何为风控?字面含义就是对于风险的控制从而使财务不受到损失.对于任何一家金融机构(包括银行,小贷,P2P等)来说,风控的重要性超过流量.体验.品牌这些人们熟悉的指标.风控做得好与坏直接决定了一家公司的生与死,而且其试错成本是无穷大的,往往一旦发现风控出了问题的时候就已经无法挽回了.截止到2015年底,全国总共3000多家P2P平台里超过三分之一已经倒闭.这其中除了一部分明显的自融欺诈外,大多数平台垮掉的

大数据量高并发的数据库优化详解_MsSql

如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. 一.数据库结构的设计 在一个系统分析.设计阶段,因为数据量较小,负荷较低.我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要花费更多的人力物力,而整个系统也不可避免的形成了一个打补丁工程. 所以在考虑整个系统的流程的时候,我们必须

大数据量高并发的数据库优化详解

如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能.所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的. 一.数据库结构的设计 在一个系统分析.设计阶段,因为数据量较小,负荷较低.我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再来考虑提高系统性能则要花费更多的人力物力,而整个系统也不可避免的形成了一个打补丁工程. 所以在考虑整个系统的流程的时候,我们必须

物联网中的大数据架构、应用案例以及带来的好处

第一节 简介 近年来"物联网"(IoT)和"大数据"是两个最受瞩目的话题.在物联网的概念里,有关任何开和关切换到网络的设备皆会彼此连接,它们之间都彼此相互连结.这包括了手机.咖啡机.洗衣机.耳机.台灯以及可穿戴的设备,很多物品都是属于这个范畴(图 11.1).这也适用于机器零件,例如:飞机的喷气发动机或石油钻井平台的钻头.无论有没有意识到这一点,我们的生活周围已经被这些依赖于大数据的东西所包围了,不过这也使得生活更美好.     图 11.1 物联网在连接设备的应用

法国大数据:智慧城市中的大数据

1.推进力量 2013年2月,法国政府发布<数字化路线图>,列出5项将会大力支持的战略性高新技术,其中一项就是大数据.法国政府将以新兴企业.软件制造商.工程师.信息系统设计师等为目标,开展一系列的投资计划,旨在通过发展创新性解决方案,并将其用于实践,来促进法国在大数据领域的发展. 2013年4月,法国经济.财政和工业部宣布,将投入1150万欧元用于支持7个未来投资项目,法国生产振兴部长Arnaud Montebourg.数字经济部副部长Fleur Pellerin和投资委员Louis Gall

大数据国家档案之法国:智慧城市中的大数据

"通过发展创新性解决方案,并将其用于实践,来促进法国在大数据领域的发展." --法国 1.推进力量 2013年2月,法国政府发布<数字化路线图>,列出5项将会大力支持的战略性高新技术,其中一项就是大数据.法国政府将以新兴企业.软件制造商.工程师.信息系统设计师等为目标,开展一系列的投资计划,旨在通过发展创新性解决方案,并将其用于实践,来促进法国在大数据领域的发展. 2013年4月,法国经济.财政和工业部宣布,将投入1150万欧元用于支持7个未来投资项目,法国生产振兴部长Ar

如何将mysql中读取的数据赋值到一个jsp的变量中

问题描述 如何将mysql中读取的数据赋值到一个jsp的变量中 我希望将更新的数据库中的数据赋值到一个jsp变量中然后传输到jsp内部的js程序中,请问怎么才能 把数据库中的值赋给一个jsp变量中. 解决方案 request.setCharacterEncoding("utf-8"); Class.forName("com.mysql.jdbc.Driver"); Connection conn= DriverManager.getConnection("

评谈新经济:新经济动能转换中的“大数据要素”

[导语]2016年的两会,总理所做的政府工作报告中有许多新提法.新思路引起了人们的关注.其中,有关新经济被描述为"随着以云计算.大数据.物联网等为代表的新技术被广泛接收和应用,诞生的新产业.新消费.新组织形态,以及随之而来的创业创新浪潮.产业转型升级.就业结构改善.经济提质增效." 新经济实现的五大重点:DT形态的信息基础设施.三合一的分享型经济参与模式.开放多元的协同治理.C2B与智能制造结合的供给侧革命.互联网+之下的新型服务市场进步. 大数据是以云网端为基础核心设施.平台分享为核

数字化转型中的大数据治理架构

大家好,我今天分享的主题是大数据治理.我们如何使用好大数据资产,才能够更好地发挥其中的价值? 主要大纲: 一.数字化时代大数据向服务化发展 二.数字化时代的大数据治理架构 三.大数据治理的12个技术原则 四.总结 一.数字化时代大数据向服务化发展 本文讲的是数字化转型中的大数据治理架构,数字化时代,我们的数据来源比以前更广了.第一,之前传统企业政府的IT系统主要是面向内部使用,产生了一些信息,现在已经面向外部使用了:第二,更多行为信息.社交信息都会变成企业的数据:第三,我们有很多非结构化的数据,