快速删除重复记录

数据库中删除重复记录一直是件挺烦人的事,本人收集了Oracle跟SqlServer的快速删除重复记录的方法,供大家参考,希望对大家有所帮助。
SQL SERVER
  想必每一位SQL SERVER开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确。解决该问题的办法就是将这些重复的记录删除,只保留其中的一条。

  在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删除重复的记录。因为这种方法需要对整个表进行遍历,所以对于表中的记录数不是很大的时候还是可行的,如果一张表的数据达到上百万条,用游标的方法来删除简直是个噩梦,因为它会执行相当长的一段时间。

  四板斧——轻松消除重复记录

  殊不知在SQL Server中有一种更为简单的方法,它不需要用游标,只要写一句简单插入语句就能实现删除重复记录的功能。为了能清楚地表述,我们首先假设存在一个产品信息表Products,其表结构如下:

CREATE TABLE Products (
ProductID int,
ProductName nvarchar (40),
Unit char(2),
UnitPrice money
)

  表中的数据如图1:

图表

  图1中可以看出,产品Chang和Tofu的记录在产品信息表中存在重复。现在要删除这些重复的记录,只保留其中的一条。步骤如下:

  第一板斧——建立一张具有相同结构的临时表

CREATE TABLE Products_temp (
ProductID int,
ProductName nvarchar (40),
Unit char(2),
UnitPrice money
)

  第二板斧——为该表加上索引,并使其忽略重复的值

  方法是在企业管理器中找到上面建立的临时表Products _temp,单击鼠标右键,选择所有任务,选择管理索引,选择新建。如图2所示。

  按照图2中圈出来的地方设置索引选项。

图2

  第三板斧——拷贝产品信息到临时表

  insert into Products_temp Select * from Products

  此时SQL Server会返回如下提示:

  服务器: 消息 3604,级别 16,状态 1,行 1

  已忽略重复的键。

  它表明在产品信息临时表Products_temp中不会有重复的行出现。

 第四板斧——将新的数据导入原表

  将原产品信息表Products清空,并将临时表Products_temp中数据导入,最后删除临时表Products_temp。
  delete Products
  insert into Products select * from Products_temp
  drop table Products_temp

  这样就完成了对表中重复记录的删除。无论表有多大,它的执行速度都是相当快的,而且因为几乎不用写语句,所以它也是很安全的。

  小提示:上述方法中删除重复记录取决于创建唯一索引时选择的字段,在实际的操作过程中读者务必首先确认创建的唯一索引字段是否正确,以免将有用的数据删除。

ORACLE
  在Oracle中,可以通过唯一rowid实现删除重复记录;还可以建临时表来实现...这个只提到其中的几种简单实用的方法,希望可以和大家分享(以表employee为例)。

  SQL> desc employee

  Name Null? Type

  emp_id NUMBER(10)
  emp_name VARCHAR2(20)

  salary NUMBER(10,2)

  可以通过下面的语句查询重复的记录:
  SQL> select * from employee;

  EMP_ID EMP_NAME SALARY

  1 sunshine 10000

  1 sunshine 10000

  2 semon 20000

  2 semon 20000

  3 xyz 30000

  2 semon 20000

  SQL> select distinct * from employee;

  EMP_ID EMP_NAME SALARY

  1 sunshine 10000

  2 semon 20000

  3 xyz 30000

  SQL> select * from employee group by emp_id,emp_name,salary having count (*)>1

  EMP_ID EMP_NAME SALARY

  1 sunshine 10000

  2 semon 20000

  SQL> select * from employee e1

  where rowid in (select max(rowid) from employe e2
  where e1.emp_id=e2.emp_id and

  e1.emp_name=e2.emp_name and e1.salary=e2.salary);

  EMP_ID EMP_NAME SALARY

  1 sunshine 10000

  3 xyz 30000

  2 semon 20000

  2. 删除的几种方法:

  (1)通过建立临时表来实现
  SQL>create table temp_emp as (select distinct * from employee)

  SQL> truncate table employee; (清空employee表的数据)

  SQL> insert into employee select * from temp_emp; (再将临时表里的内容插回来)

  ( 2)通过唯一rowid实现删除重复记录.在Oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。在重复的记录中,可能所有列的内容都相同,但rowid不会相同,所以只要确定出重复记录中那些具有最大或最小rowid的就可以了,其余全部删除。

  SQL>delete from employee e2 where rowid not in (
  select max(e1.rowid) from employee e1 where

  e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--这里用min(rowid)也可以。

  SQL>delete from employee e2 where rowid <(
  select max(e1.rowid) from employee e1 where
  e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);

  (3)也是通过rowid,但效率更高。

  SQL>delete from employee where rowid not in (
  select max(t1.rowid) from employee t1 group by t1.emp_id,t1.emp_name,t1.salary);--这里用min(rowid)也可以。

  EMP_ID EMP_NAME SALARY

  1 sunshine 10000

  3 xyz 30000

  2 semon 20000

时间: 2024-09-30 03:53:05

快速删除重复记录的相关文章

在SQL Server中快速删除重复记录

server|重复|重复记录 开发人员的噩梦--删除重复记录 想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确.解决该问题的办法就是将这些重复的记录删除,只保留其中的一条. 在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删除重复的记录.因为这种方法需要对整个表进行遍历,所以对于表中的记录数不是很大的时候还是可行的,如果一张表的数据达到上百万

SQL Server中快速删除重复记录的方法

开发人员的噩梦--删除重复记录 想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确.解决该问题的办法就是将这些重复的记录删除,只保留其中的一条. 在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删除重复的记录.因为这种方法需要对整个表进行遍历,所以对于表中的记录数不是很大的时候还是可行的,如果一张表的数据达到上百万条,用游标的方法来删除简直是个

Excel2007快速删除重复记录

在以前版本的Excel中录入数据后,使用"高级筛选"功能来删除重复的记录(操作比较复杂),到了Excel2007以后增加了一个"删除重复项"功能,来删除重复记录就显得更加容易上手了. 操作如下: 首先选中数据区中的任一单元格,然后单击"数据"菜单,再单击"数据工具"功能区中的"删除重复项"按钮,在弹出的"删除重复项"对话框选择要检查的区域,最后单击两次"确定"按钮即可

Excel2007中快速删除重复记录的技巧

在Excel中录入数据后,我们一般用高级筛选来处理删除重复的记录,Excel2007保留了这个功能,同时又增加了一个"删除重复项"按钮,使操作更加简单.灵活. 一.传统方法:使用高级筛选 步骤如下: 1.单击数据区,选中其中的任一个单元格.如果只是针对其中部分字段和记录进行筛选,可先选中这部分区域.注意:只对连续选中的矩形区域有效. 2.单击"数据"标签,再单击下面工具栏中的"排序与筛选"区中的"高级"按钮,如图1. 图1 排

SQL Server中快速删除重复记录

删除重复记录 想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确.解决该问题的办法就是将这些重复的记录删除,只保留其中的一条. 在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删除重复的记录.因为这种方法需要对整个表进行遍历,所以对于表中的记录数不是很大的时候还是可行的,如果一张表的数据达到上百万条,用游标的方法来删除简直是个噩梦,因为它会执行

Excel 2010 中如何快速删除重复记录?

知识点分析: 当 Excle 表格中存在重复数据的时候,如果数据不是很多可以通过肉眼判断出来,而如果数据记录是成百上千甚至上万条的时候通过眼睛去看将变得十分不可靠.如何快速找到工作表中的重复记录并将其删除,可以利用 Excel 2010 中的"删除重复项"来操作. 操作步骤: 1.在当前的工作表中共有330条记录,可能会包含一些重复项,如图1:     2.选中表格中的所有数据,然后在"数据"选项卡中单击"删除重复项"按钮,如图2:     3.

Excel 2007快速删除重复记录的方法

在Excel中录入数据后,我们一般用高级筛选来处理删除重复的记录,Excel 2007保留了这个功能,同时又增加了一个"删除重复项"按钮,使操作更加简单.灵活. 一.传统方法:使用高级筛选 步骤如下: 1.单击数据区,选中其中的任一个单元格.如果只是针对其中部分字段和记录进行筛选,可先选中这部分区域.注意:只对连续选中的矩形区域有效. 2.单击"数据"标签,再单击下面工具栏中的"排序与筛选"区中的"高级"按钮,如图1.    

Excel 2010 中怎么快速删除重复记录?Excel重复记录教程

1. 如下图所示我们几百条记录,里边有一个无用的重复项,我希望删除它要怎么办呢,如图1: 2. 我们先选中整全excel表格,然后我们点击"数据"菜单之后再点击下面的"删除重复项"细节如图所示,如图2:   3. 然后在打开窗口中我们找到"删除重复项"对话框中,可以选择一个或多个包含重复值的列,这里将其全部选中,然后单击"确定"按钮,如图3: 4. 然后会显示发现多少重复记录,删除了几条重复记录,保留了323个唯一值"

oracle快速删除重复的记录_oracle

正在看的ORACLE教程是:oracle快速删除重复的记录.做项目的时候,一位同事导数据的时候,不小心把一个表中的数据全都搞重了,也就是说,这个表里所有的记录都有一条重复的.这个表的数据是千万级的,而且是生产系统.也就是说,不能把所有的记录都删除,而且必须快速的把重复记录删掉. 对此,总结了一下删除重复记录的方法,以及每种方法的优缺点. 为了陈诉方便,假设表名为Tbl,表中有三列col1,col2,col3,其中col1,col2是主键,并且,col1,col2上加了索引. 1.通过创建临时表