小弟请教有关lucene中为海量数据建立索引的问题,谢谢解答!

问题描述

最近在开发中遇到了一个问题,首先是抓取到了大量数据,格式化后存入了数据库表,然后要为这个表建立索引。若是一次把数据全部读取出来封装成对象,放到一个List中建立索引,很可能就会产生内存溢出(数据量很大),而且每条记录都作为一个文档对象,一条条地添加索引,那么就要不断地修改索引,这样的效率是不是太低了?谢谢,希望您的解答!

时间: 2024-11-08 17:28:47

小弟请教有关lucene中为海量数据建立索引的问题,谢谢解答!的相关文章

显示-小弟请教一个fragment中的点击问题

问题描述 小弟请教一个fragment中的点击问题 请教下..我主界面一个Activity中用的Tabhost上边用的ViewPager里面四个碎片..我怎么从第一个Fragment界面里面一个按键点击后变成第三个显示的Fragment,并且底下的TabHost也会随着改变.. 解决方案 ViewPager有SetCurrentItem,你传进去索引就行了

mysql中经常根据时间列筛选数据,那么可以为时间字段建立索引吗

问题描述 mysql中经常根据时间列筛选数据,那么可以为时间字段建立索引吗 mysql中经常根据时间列筛选数据,那么可以为时间字段建立索引吗?谢谢! (数据量比较大,但是一般查询只查询今天的数据,而表中存有所有历史记录) 解决方案 可以建立,但是你还要看看你的查询条件,如果查询条件中有对时间用函数等,那么索引的效果并不会有多好. ALTER TABLE reqs ADD INDEX date_ndx (date); 解决方案二: 是可以的,添加data类型的索引,取出时将日期进行比较,大于昨天的

使用Apache Solr对数据库建立索引(包括处理CLOB、CLOB)

以下资料整理自网络,觉的有必要合并在一起,这样方便查看.主要分为两部分,第一部分是对<db-data-config.xml>的配置内容的讲解(属于高级内容),第二部分是DataImportHandler(属于基础),第三部分是对db-data-config.xml的进阶(这个国内可能还没有人写过啊,我在google.baidu上都没有搜索到,最后可是拔代码,看solr的英文文档找的) 第一部分是对<db-data-config.xml> query是获取全部数据的SQLdeltaI

c++-小弟请教520表白这段69代码

问题描述 小弟请教520表白这段69代码 今天看到好多这个,但是具体是怎么实现的呢?求大神们详细代码或思路 解决方案 硬编码吧.不觉得有什么算法 解决方案二: 应该是个快捷键触发吧,然后输出9,但是不觉得有新意啊 解决方案三: ctrl+f是查找啊,一般的浏览器都会对查找的内容高亮显示的.其实你不管是输入6还是9都能显示出iloveyou的 解决方案四: windows下做游戏建议看<DirectX游戏编程>俗称红龙书. 解决方案五: 控制台程序按ctrl+f会显示""^F

控制台窗口-小弟请教关于程序窗口的问题

问题描述 小弟请教关于程序窗口的问题 请教大神控制台窗口和windows窗口什么不同,为什么不同的IDE会使用不同的窗口,像codeblocks使用windows的,VS2013使用控制台的,希望大神详细回答 解决方案 你找个控制台程序和窗口程序 ,运行一下,操作一下,就能感觉到了 解决方案二: VS2013使用控制台的窗口? vs 也可以做windows的.exe 程序啊 解决方案三: VS2013的功能很强大的,也可以做windows应用程序,建议你去看一下WFC.Winform开发...

c++-小弟请教在MFC中子窗口如何获取父窗口的句柄啊

问题描述 小弟请教在MFC中子窗口如何获取父窗口的句柄啊 比如我有个父类的Dialog类为A,还有一个子类的Dialog类为B,然后在A类的头文件中包含了B的头文件,然后在A类中生命一个B类的成员变量,类似下面那样,然后我通过一个button调用DoModal();B类的STYLE改为CHILD了: 然后我希望在子窗口中处理一些数据,然后传给父窗口:比如A中有个IDC_text1 有个IDD_BUTTON1,B中有个IDC_text2,有个IDD_BUTTON2: 我就希望在B中的IDC_tex

c语言-sift算法中,需要建立高斯金字塔,但是每一阶梯的图片维数

问题描述 sift算法中,需要建立高斯金字塔,但是每一阶梯的图片维数 sift算法中,需要建立高斯金字塔,但是每一阶梯的图片维数不一样,导致动态分配难度增加.想向大家请教如何将多组的一层层的octave分配好内存. 下面是每一组和每一层的定义 typedef struct ImageSt { /*金字塔每一层*/ float levelsigma; float **Level; //每一层图像的象素值 } ImageLevels; /*typedef struct ImageSt1 { //金字

小弟请教vim和gdb,gcc之间有什么联系吗

问题描述 小弟请教vim和gdb,gcc之间有什么联系吗 gdb是用来调试的,vim是编辑器吗?gcc是编译器?这三者有什么区别和联系吗 解决方案 我想有几个原因促使linux社区不太用ide (1)他们不太设计图形界面或者客户端软件.很多人嘲笑windows程序员初级所以才用ide,这毫没有道理.很少有人嘲笑ios程序员,他们一样使用xcode (2)linux以及unix偏向大型机-终端的操作模式使得他们接触的系统本身就没有图形界面,ide使不了,而shell一类的脚本语言是linux操作员

Lucene 3.6.2入(3) 简述Lucene中常见的搜索功能

package com.jadyer.lucene; import java.io.File; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.