100万条数据存入mongo，通过java代码实现，要求时间在5秒之内，或者越快越好

问题描述

100万条数据存入mongo，通过java代码实现，要求时间在5秒之内，或者越快越好: 通过java代码将oracle中的100万条数据查询出来，然后直接插入mongo数据库中，要求时间越短越好。我从oracle中将100万条数据查询出来花费了3秒左右。希望存入mongo的时间在5秒以内。请问各位大神有没有好的办法，谢谢。

解决方案

你可以买一个性能好一些的电脑，这样会比较快的。

解决方案二：

你把oracle查询到的数据分下类，优化时间在2秒内，存到Mongo可能会快点，最近公司也是遇到把Mongo数据迁移到oracle（因为Mongo数据原先没有分类，查询4亿左右数据在20分钟左右）

时间： 2024-11-03 21:45:50

100万条数据存入mongo，通过java代码实现，要求时间在5秒之内，或者越快越好的相关文章

极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)

原文:极限挑战-C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间. 本实验中所用到工具为VS2008和SQL SERVER 2000.SQL SERVER 2008,分别使用5中方法将100万条数据导入SQL 2000与SQL 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器.感兴趣的朋友可以下载源代码自己

sql server 2000中循环插入100万条数据

server|插入|数据|循环出处:∮明天去要饭's Blog 前段时间在测试100万条以上数据时的分页速度,需要往数据库中插入100万条记录,那个时候插入记录我是用C#写的,后来发现,其实用SQL自已也可以实现的,而且更简单哦!以下是我写的一个实例,很简单,大家应该能看懂的. declare @i int --变义变量@i set @i = 1 --初始化@i为1 while @i < 100 --如果@i小于100,这里改成10

3分钟如何向MySQL数据库中插入100万条数据

一.编写测试案例向MySQL数据库中插入百万条数据.测试数据表建表脚本如下:use db_xk; drop table if exists tb_test2; create table tb_test2 ( id int primary key auto_increment, subject varchar(50) not null, description varchar(200) not null, teacher_id int(10) zerofill not null, student_

Js表格万条数据瞬间加载实现代码

一条数据创建一行,如果数量大的时候,一次性要加载完数据的话,浏览器就会卡上半天,下面有个不错的方法,大家可以参考下 Js表格,万条数据瞬间加载在Ajax动态加载数据的实际应用中,大家都习惯了一种思维方式:一条数据创建一行. 于是如果数量大的时候,一次性要加载完数据的话,浏览器就会卡上半天受Flex的DataGrid控件的启发,在Flex的DataGrid控件中,展示数据的方法并不是有多少条数据就创建多少行,它最多只创建你在界面上所看到的十几二十行(假设为n行),如果数据多的话

Js表格万条数据瞬间加载实现代码_javascript技巧

Js表格,万条数据瞬间加载在Ajax动态加载数据的实际应用中,大家都习惯了一种思维方式:一条数据创建一行. 于是如果数量大的时候,一次性要加载完数据的话,浏览器就会卡上半天受Flex的DataGrid控件的启发,在Flex的DataGrid控件中,展示数据的方法并不是有多少条数据就创建多少行,它最多只创建你在界面上所看到的十几二十行(假设为n行),如果数据多的话,在滚动过程中,会从数据中抽取你应该看到的这n行数据,重新展示在已经创建好的那n行控件中. 也就是说,Flex的DataGrid控件

探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页

探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页.以下代码说明了我们实例中数据库的一表的部分数据结构: CREATE TABLE [dbo].[TGongwen] ( --TGongwen是红头文件表名 [Gid] [int] IDENTITY (1, 1) NOT NULL ,--本表的id号,也是主键 [title] [varchar] (80) COLLATE Chinese_PRC_CI_AS NULL , --红头文件的

数据统计-假如有100万条微博，需要统计里面@谁的次数最多，有什么好算法？

问题描述假如有100万条微博,需要统计里面@谁的次数最多,有什么好算法? 假如有一个文本文件,每行存放一条微博. 微博的内容形如:@测试1 @测试2 #话题#test123@测试1 test123test @测试1 数据量是100万行需求是统计出这些微博中@用户次数最多的top100 请问有什么好的算法或者思路吗? 解决方案简单啊,用hash过滤重复的,然后再把用户编号开一个数组映射啊解决方案二: 我用过php的,思路: 1.用php把100万行的文件分割成100个1万行的文件,为

Facebook最新数据：每20分钟共享100万条链接

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; Facebook发布的一系列6184.html">数据表明,Facebook网站上每20分钟就有100万条链接被共享. Facebook还称,2010年该网站上每20分钟就有130万张照片被共享,150万份邀请函被发出,160万张壁纸被共享,180万名会员更新个人资料,197万条好友请求被接受,270万张照片被上传,1020万条评论被发表,460万条

c# 4.0-Parallel.For并行录入10万条数据出错

问题描述 Parallel.For并行录入10万条数据出错用了一个CodeTimer测试性能,在循环方法体的时候,老大说让用Parallel.For代替for循环. 结果瞬间快了100倍的测试速度,但是又出现一个问题了,数据录不进去了. 经常循环10万次才录入一条,断点调试后发现就第一条录进去了,后面的都是数据库连接池错误. 我想问下用并行之后,这种情况是正常的吗,如果不正常,有什么方法解决呢代码中的Time()的三个参数,第一个是方法名(无视),第二个是循环次数,第三个是方法体,关于Tim