大数据 堆溢出问题 oracle.sql.CLOB.getChars

问题描述

通过hibernate查询10W级别的数据分批次查询每次100条直接出大对象Object对象里面有几十个属性其中有几个属性对应数据库字段类型为Clob类型有什么好的办法解决.在线等啊Junittest报出的错误debug的参数-Xms256m-Xmx1024mjava.lang.OutOfMemoryError:Javaheapspaceatoracle.jdbc.driver.T4C8TTIClob.read(T4C8TTIClob.java:191)atoracle.jdbc.driver.T4CConnection.getChars(T4CConnection.java:2614)atoracle.sql.CLOB.getChars(CLOB.java:354)atoracle.sql.CLOB.getSubString(CLOB.java:247)atorg.springframework.jdbc.support.lob.OracleLobHandler.getClobAsString(OracleLobHandler.java:187)atorg.springframework.jdbc.support.lob.AbstractLobHandler.getClobAsString(AbstractLobHandler.java:45)atorg.springframework.orm.hibernate3.support.ClobStringType.nullSafeGetInternal(ClobStringType.java:77)atorg.springframework.orm.hibernate3.support.AbstractLobType.nullSafeGet(AbstractLobType.java:157)atorg.hibernate.type.CustomType.nullSafeGet(CustomType.java:128)atorg.hibernate.type.AbstractType.hydrate(AbstractType.java:105)atorg.hibernate.persister.entity.AbstractEntityPersister.hydrate(AbstractEntityPersister.java:2124)atorg.hibernate.loader.Loader.loadFromResultSet(Loader.java:1404)atorg.hibernate.loader.Loader.instanceNotYetLoaded(Loader.java:1332)atorg.hibernate.loader.Loader.getRow(Loader.java:1230)atorg.hibernate.loader.Loader.getRowFromResultSet(Loader.java:603)atorg.hibernate.loader.Loader.doQuery(Loader.java:724)atorg.hibernate.loader.Loader.doQueryAndInitializeNonLazyCollections(Loader.java:259)atorg.hibernate.loader.Loader.doList(Loader.java:2228)atorg.hibernate.loader.Loader.listIgnoreQueryCache(Loader.java:2125)atorg.hibernate.loader.Loader.list(Loader.java:2120)atorg.hibernate.loader.hql.QueryLoader.list(QueryLoader.java:401)atorg.hibernate.hql.ast.QueryTranslatorImpl.list(QueryTranslatorImpl.java:361)atorg.hibernate.engine.query.HQLQueryPlan.performList(HQLQueryPlan.java:196)atorg.hibernate.impl.SessionImpl.list(SessionImpl.java:1148)atorg.hibernate.impl.QueryImpl.list(QueryImpl.java:102)atorg.springframework.orm.hibernate3.HibernateTemplate$30.doInHibernate(HibernateTemplate.java:930)atorg.springframework.orm.hibernate3.HibernateTemplate.doExecute(HibernateTemplate.java:419)atorg.springframework.orm.hibernate3.HibernateTemplate.executeWithNativeSession(HibernateTemplate.java:374)atorg.springframework.orm.hibernate3.HibernateTemplate.find(HibernateTemplate.java:921)atorg.springframework.orm.hibernate3.HibernateTemplate.find(HibernateTemplate.java:913)atcom.hundsun.gildata.irp.common.dao.impl.CommonDaoSpringHibernateImpl.findByIds(CommonDaoSpringHibernateImpl.java:98)atcom.hundsun.gildata.irp.core.service.impl.ReportServiceImpl.checkReport(ReportServiceImpl.java:6432)

解决方案

解决方案二:
CLOB太大的话,别一次取出来,一点一点取,直到取完长度。内存放不下的。
解决方案三:
引用1楼xiaopeipei2004的回复:

CLOB太大的话,别一次取出来,一点一点取,直到取完长度。内存放不下的。

一点一点怎么取啊...

时间: 2024-08-22 05:48:16

大数据 堆溢出问题 oracle.sql.CLOB.getChars的相关文章

大数据时代,你的数据中心如何迎战?

信息时代,数据已经融入到了每一个行业,每一个业务领域.继"物联网".云计算"之后,"大数据"一词被越来越多地提及."大数据"在政府,金融,公安,通讯,交通,医疗,媒资等行业已存在多时,却因为近年来信息行业的发展而再度引起人们的关注. 你的云数据中心,拿什么来迎战"大数据时代"? "大数据"作为云计算,物联网之后IT行业又一大颠覆性的技术革命,将对企业的数据中心带来颠覆性的影响.传统数据中心已无法满

Oracle大数据解决方案——未来企业的理想选择

过去的这几年里,随着交易型IT向交互型IT过渡,企业数据开始呈现爆炸性的增长.而由于社交媒体的兴起.数字传感器的大量应用和移动设备的大面积普及等因素直接导致了各类海量大数据的迅速产生.这一类多结构化的数据市场价值并不高,但是其中庞大的数据量却蕴含着一笔隐藏的巨大财富.由此可见,应该如何对大数据进行高效的治理已经越来越成为业界关注的话题了. 据2011年Unisphere Research的调查显示,未来三年企业非结构化的大数据还将继续快速增长,其中隐藏的客户行为和业务运营等重要信息,也将对企业的

甲骨文宣布推出最新版本Oracle大数据机和大数据连接器

北京,2012年12月28日--甲骨文公司日前宣布推出最新版本Oracle 大数据机(Oracle Big Data Appliance)和 Oracle大数据连接器(Oracle Big Data Connectors),旨在帮助企业赢得大数据发展机会以实现其业务转型. Oracle大数据机X3-2是一个颇具成本效益的软硬件集成系统,并且已经进行了全新升级.它整合了Intel全新处理器和最新发布的Cloudera分区,包括Apache Hadoop(CDH)和Cloudera管理器,以及用于大

甲骨文公司宣布正式推出Oracle大数据机

甲骨文公司日前宣布正式推出Oracle大数据机(Oracle Big Data Appliance),将帮助客户最大程度发挥大数据的商业价值. Oracle大数据机是一个硬.软件集成系统,融合了Cloudera公司的Distribution Including Apache Hadoop和Cloudera Manager,以及一个开源R. 该系统采用Oracle Linux操作系统,配备有Oracle NoSQL数据库社区版本和Oracle HotSpot Java虚拟机. 同时,甲骨文公司还宣

SQL Server+Hadoop 变身大数据解决方案

文章讲的是SQL Server+Hadoop 变身大数据解决方案,在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为

如何使用Big SQL访问大数据使用详解

在大数据技术推广.使用过程中,一个很大的挑战就是如何使用目前企业用户广泛使用的标准 SQL 来访问基于 Hadoop 平台的大数据,使用企业原有应用来访问大数据. 现在,使用大数据技术,通常使用 Hive.Pig 及 Java 程序来访问大数据,只能支持标准 SQL 的子集,需要用户学习新的编程语言,改写企业原有的应用,为了解决上述问题,IBM 推出了 Big SQL,它使用标准的 SQL 来访问基于 Hadoop 平台的 InfoSphere BigInsights,并提供标准的 JDBC.O

Oracle宣布推出Oracle大数据机X4-2

北京,2013年11月27日--Oracle大数据机X4-2现已面市,其为企业提供了全面和安全的集成系统,为运行面向大数据的Cloudera整体平台和Cloudera Enterprise实现了优化,降低了总体拥有成本.Oracle大数据机X4-2.Oracle大数据连接器和Oracle Exadata组成了面向大数据的全面和集成的平台. Oracle近日宣布推出Oracle大数据机X4-2,其提供了整个Cloudera企业技术堆栈和超过33%的存储容量,达到每个机架864TB. Oracle大

微软大数据:SQL Server任主力 Azure与Hadoop集成辅助

在不断激增的联网设备以及无处不在的网络连接的驱动下,视频.音乐及文本等数据早已呈现出无限膨胀的态势.近日研究机构Gartner更发表报告称,"大数据"将在未来十年内成为新的常规行业.目前包括谷歌.IBM.微软.EMC.惠普等众多巨头,已早早开始布局大数据,为在即将来临的大数据时代做好竞争铺垫. 如何利用海量数据为企业带来价值,是微软目前的主要专注方向,同时也是大数据的核心要素.通过数据的采集.存储.发送.处理及分析,帮助企业制定更有效的方针和政策,这在全球各企业中需求非常旺盛,全球50

Hadoop教程:SQL Server+Hadoop变身大数据解决方案

在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为了向Bing提供高质量的搜索结果,这与Google的情况类似,互联