在SQL Server中快速删除重复记录

server|重复|重复记录

  开发人员的噩梦——删除重复记录

  想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确。解决该问题的办法就是将这些重复的记录删除,只保留其中的一条。

  在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删除重复的记录。因为这种方法需要对整个表进行遍历,所以对于表中的记录数不是很大的时候还是可行的,如果一张表的数据达到上百万条,用游标的方法来删除简直是个噩梦,因为它会执行相当长的一段时间。

  四板斧——轻松消除重复记录

  殊不知在SQL Server中有一种更为简单的方法,它不需要用游标,只要写一句简单插入语句就能实现删除重复记录的功能。为了能清楚地表述,我们首先假设存在一个产品信息表Products,其表结构如下:

CREATE TABLE Products (
ProductID int,
ProductName nvarchar (40),
Unit char(2),
UnitPrice money
)
  表中的数据如图1:

  图1中可以看出,产品Chang和Tofu的记录在产品信息表中存在重复。现在要删除这些重复的记录,只保留其中的一条。步骤如下:

  第一板斧——建立一张具有相同结构的临时表

CREATE TABLE Products_temp (
ProductID int,
ProductName nvarchar (40),
Unit char(2),
UnitPrice money
)
  第二板斧——为该表加上索引,并使其忽略重复的值

  方法是在企业管理器中找到上面建立的临时表Products _temp,单击鼠标右键,选择所有任务,选择管理索引,选择新建。如图2所示。

  按照图2中圈出来的地方设置索引选项。

  第三板斧——拷贝产品信息到临时表

insert into Products_temp Select * from Products
  此时SQL Server会返回如下提示:

  服务器: 消息 3604,级别 16,状态 1,行 1

  已忽略重复的键。

  它表明在产品信息临时表Products_temp中不会有重复的行出现。

  第四板斧——将新的数据导入原表

  将原产品信息表Products清空,并将临时表Products_temp中数据导入,最后删除临时表Products_temp。

delete Products
insert into Products select * from Products_temp
drop table Products_temp
  这样就完成了对表中重复记录的删除。无论表有多大,它的执行速度都是相当快的,而且因为几乎不用写语句,所以它也是很安全的。

  小提示:上述方法中删除重复记录取决于创建唯一索引时选择的字段,在实际的操作过程中读者务必首先确认创建的唯一索引字段是否正确,以免将有用的数据删除。

时间: 2024-11-08 20:18:39

在SQL Server中快速删除重复记录的相关文章

SQL Server中快速删除重复记录的方法

开发人员的噩梦--删除重复记录 想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确.解决该问题的办法就是将这些重复的记录删除,只保留其中的一条. 在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删除重复的记录.因为这种方法需要对整个表进行遍历,所以对于表中的记录数不是很大的时候还是可行的,如果一张表的数据达到上百万条,用游标的方法来删除简直是个

SQL Server中快速删除重复记录

删除重复记录 想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确.解决该问题的办法就是将这些重复的记录删除,只保留其中的一条. 在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删除重复的记录.因为这种方法需要对整个表进行遍历,所以对于表中的记录数不是很大的时候还是可行的,如果一张表的数据达到上百万条,用游标的方法来删除简直是个噩梦,因为它会执行

Excel2007中快速删除重复记录的技巧

在Excel中录入数据后,我们一般用高级筛选来处理删除重复的记录,Excel2007保留了这个功能,同时又增加了一个"删除重复项"按钮,使操作更加简单.灵活. 一.传统方法:使用高级筛选 步骤如下: 1.单击数据区,选中其中的任一个单元格.如果只是针对其中部分字段和记录进行筛选,可先选中这部分区域.注意:只对连续选中的矩形区域有效. 2.单击"数据"标签,再单击下面工具栏中的"排序与筛选"区中的"高级"按钮,如图1. 图1 排

快速删除重复记录

数据库中删除重复记录一直是件挺烦人的事,本人收集了Oracle跟SqlServer的快速删除重复记录的方法,供大家参考,希望对大家有所帮助.SQL SERVER 想必每一位SQL SERVER开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确.解决该问题的办法就是将这些重复的记录删除,只保留其中的一条. 在SQL Server中除了对拥有十几条记录的表进行人工删除外,实现删除重复记录一般都是写一段代码,用游标的方法一行一行检查,删

Excel 2010 中如何快速删除重复记录?

知识点分析: 当 Excle 表格中存在重复数据的时候,如果数据不是很多可以通过肉眼判断出来,而如果数据记录是成百上千甚至上万条的时候通过眼睛去看将变得十分不可靠.如何快速找到工作表中的重复记录并将其删除,可以利用 Excel 2010 中的"删除重复项"来操作. 操作步骤: 1.在当前的工作表中共有330条记录,可能会包含一些重复项,如图1:     2.选中表格中的所有数据,然后在"数据"选项卡中单击"删除重复项"按钮,如图2:     3.

Excel2007快速删除重复记录

在以前版本的Excel中录入数据后,使用"高级筛选"功能来删除重复的记录(操作比较复杂),到了Excel2007以后增加了一个"删除重复项"功能,来删除重复记录就显得更加容易上手了. 操作如下: 首先选中数据区中的任一单元格,然后单击"数据"菜单,再单击"数据工具"功能区中的"删除重复项"按钮,在弹出的"删除重复项"对话框选择要检查的区域,最后单击两次"确定"按钮即可

在Excel2007中快速删除重复数据项

在Excel以前的版本中,可以通过"高级筛选"来删除重复记录,在Excle 2007中不但保留了"高级筛选"这个功能,而更为值得注意的是Excel 2007增加了一个"删除重复项"按钮,从而这项操作变得更加方便.快捷. 首先选择需要删除重复项的所有单元格.如果是要对所有数据进行这一操作,可以任意选择一个单元格. 在工具栏中选择"数据"选项卡,再单击"排序与筛选"区中的"删除重复项"按钮.

如何在Excel2007中快速删除重复数据项

在Excel以前的版本中,可以通过"高级筛选"来删除重复记录,在Excle 2007中不但保留了"高级筛选"这个功能,而更为值得注意的是Excel 2007增加了一个"删除重复项"按钮,从而这项操作变得更加方便.快捷. 首先选择需要删除重复项的所有单元格.如果是要对所有数据进行这一操作,可以任意选择一个单元格. 在工具栏中选择"数据"选项卡,再单击"排序与筛选"区中的"删除重复项"按钮.

如何在 SQL SERVER 中快速有条件删除海量数据_MsSql

最近有个朋友问我,他说他在SQLSERVER删除几百万到几千万数据是显的很慢,帮他分析了一下,提了一些以下意见,或许对很多人有用.     如果你的硬盘空间小,并且不想设置数据库的日志为最小(因为希望其他正常的日志希望仍然记录),而且对速度要求比较高,并清除所有的数据建议你用turncate table1,因为truncate 是DDL操作,不产生rollback,不写日志速度快一些,然后如果有自增的话,恢复到1开始,而delete会产生rollback,如果删除大数据量的表速度会很慢,同时会占