大数据 算法-数据库中有10万条记录,list中有5万条,怎样不通过for循环找出相同的数据?

问题描述

数据库中有10万条记录,list中有5万条,怎样不通过for循环找出相同的数据?

java 中 。数据库中有10万条记录 list中有5万条 ,怎样不通过for循环,找出数据库和list中相同的数据?

解决方案

list中的数据批量导入临时表,跟那10W条数据对比,对比完一批删一批,得出相同数据插入另一张临时表,

解决方案二:

其实如果你只是找出相同的数据,你可以直接用SQL接可以了!我写一个SQL语句

select count(*),colName from tableName t group by colName having count(*) > 1;

其中colName 表示你的字段名(记得 group by中一致)
tableName 为你的表名

这样就可以找出相同的数据,也就是相同的个数
望采纳

时间: 2024-10-30 23:21:51

大数据 算法-数据库中有10万条记录,list中有5万条,怎样不通过for循环找出相同的数据?的相关文章

数组大小为2n+1-数组相关算法java,找出需求的数据

问题描述 数组相关算法java,找出需求的数据 存在一个数组,数组大小为2n+2,里面有n对个数,例如:1,2,2,3,4,1.(数组是无序的,考虑排序的话一定会超过限制)这,6个数中的单独的数就是3,4,要你用你能想到的最高效率的方法找出来 解决方案 如果数组是连续的则可以用byte[] b = new byte[n+1];然后遍历一遍原数组,将遍历的值放入b的下标中计数,最后为1的那个下标表示数据是单独的. 这样的话总最多做3n+3次操作就能找全单独的数. 如果数组里面的数是无规律的,那么可

求助,怎么取出一张表的一条记录,并且把这条记录作为DataGrid的列名?列名是随取出的记录变化的。

问题描述 求助,怎么取出一张表的一条记录,并且把这条记录作为DataGrid的列名?列名是随取出的记录变化的.有知道的麻烦告诉下,谢谢大家了! 解决方案 解决方案二:取出来后,动态创建grid的列,不要自动创建列解决方案三:引用楼主songtaolee的回复: 求助,怎么取出一张表的一条记录,并且把这条记录作为DataGrid的列名?列名是随取出的记录变化的.有知道的麻烦告诉下,谢谢大家了! 麻烦讲的再细点好吗?我是新手...谢谢你了解决方案四:麻烦讲的再细点好吗?我是新手...谢谢你了引用1楼

sql 主表的一条记录对应附表的多条记录语句

sql 主表的一条记录对应附表的多条记录语句 像这种情况我们用到会有 union 语句 sql union 语法 select column_name(s) from table_name1 union select column_name(s) from table_name2 join left语句 left join 关键字语法 select column_name(s) from table_name1 left join table_name2 on table_name1.colum

在Excel 2007中找出重复的数据

众所周之,Excel在收集到的大量信息中,往往会有一部分重复数据,找不到这些重复数据,根本无法进行删除等操作. 使用Excel 2007可以很轻松的找到这些重复的数据. 比如下面这张数据表格,要从中找出一部分重复的数据,操作如下: 选中需要整理的数据区域,单击"开始"选项卡中的"条件格式",在"突出显示单元格规则"中选择"重复值",如下图 这样就能够快速把重复值进行高亮显示.如下图:

Excel找出两列数据中不重复的记录方法

我们先用一个简单的例子看一下.现在有两列数据,可以是分别在不同的数据单(sheet)中.我们先来做个简单的眼力测验,看下面图中左侧,两列数据中不重复的部分把它找出来. 收起这个图片展开这个图片   这里数据比较少,我们很容易发现:(左) 列的的"周"."郑"."王"是 (右) 列没有的.(右) 列的"李"."吴"是 (左) 列没有的. 现在我们看一下在 Excel 中如何用公式来实现这里功能.稍微有点难度,

删除重复的记录,并保存第一条记录或保存最后一条记录_MsSql

删除表:dgpage中Mail重复的记录并保留最后一条.  delete dgpage where id in ( select a.id from dgpage a, dgpage b where a.mail = b.mail and a.id > b.id )  删除表:dgpage中Mail重复的记录并保留最近一条. delete dgpage where id in ( select a.id from dgpage a, dgpage b where a.mail = b.mail 

asp.net中将EXCEL读取后导入到access数据库中,一直是第64条记录出错,提示conn.open错误

问题描述 上网搜索,有的说是sqlldr缺省是64条记录出错就会退出,我的代码是循环读取EXCEL中的数据进行判断是否与数据库中相同,EXCEL已经成功上传会不会是这儿有错误,没有关闭CONN??using(OleDbConnectionconn=newOleDbConnection(AccessHelper.connStr)){for(inti=0;i<dr.Length;i++){if(i==0)//标题行,判断第一行标题是否正确{if(dr[i][0].ToString().ToUpper

《大数据算法》一1.4 本书的内容

1.4 本书的内容 基于大数据的定义.大数据算法的定义以及大数据算法的特点,本书按照如下方式组织:第一部分是亚线性算法,包括时间亚线性算法(第2章)和空间亚线性算法(第3章),其中包括如何利用近似算法和随机化算法设计思想来设计和分析亚线性算法.第二部分是外存算法,将讨论如何面向外存来设计I/O有效的算法,包括外存算法概述(第4章).外存查找结构(第5章)和外存图数据算法(第6章).第三部分是并行算法,由于并行算法的内容非常广泛,本书仅介绍数据密集型并行算法,包括MapReduce算法概述(第7章

mysql(表:InnoDB,无索引),批量插入50万条记录后,越来越慢。

问题描述 mysql(表:InnoDB,无索引),批量插入50万条记录后,越来越慢. 插入10000条,已用时0秒 插入20000条,已用时2秒 插入30000条,已用时3秒 插入40000条,已用时3秒 插入50000条,已用时4秒 插入60000条,已用时5秒 插入70000条,已用时6秒 插入80000条,已用时7秒 插入90000条,已用时8秒 插入100000条,已用时9秒 插入110000条,已用时11秒 插入120000条,已用时12秒 插入130000条,已用时13秒 插入140