通过SQL脚本导入数据到不同数据库避免重复导入三种方式

前言

无论何种语言,一旦看见代码中有重复性的代码则想到封装来复用,在SQL同样如此,若我们没有界面来维护而且需要经常进行的操作,我们会写脚本避免下次又得重新写一遍,但是这其中就涉及到一个问题,这个问题我开始也没太在意,直到某时某刻,老大看到我写的脚本后笑着问了一句,你的脚本可否重复执行,我懵逼了,很显然不能,如果不能避免这种情况发生,比如进行插入操作,当下次其他同事来执行其脚本时可能会插入重复数据,如果是在线上那就傻逼了,所以老大又给我上了一课,从此之后每次写脚本都加逻辑判断,是的,也就是可重复执行。接下来讲讲最近项目中遇到的场景。

话题引入

在国民成年人体质测试中需要计算成年年纪且体侧年龄为20-59岁,若当前日期未超过成年人出生日期则岁数减一,否则不减,例如一个成年人出生日期为1991-11-01,此时该成年人的体侧年龄为25岁,若为1991-10-01则体侧年龄为26岁,此为第一步。第二步则是分组,每个年龄阶段的人测试的项目不一样,即需要根据年龄进行分组,在体侧文档中分为3组,一组为男性20-39岁,一组为女性20-39,最后一组不分男女为40-59。最后我们需要做的是根据不同的年龄阶段和性别进行分组。我们建立如下表。

由上我们可以看出有20-39岁的男性,也有20-39岁的女性。也有40-59岁的男性等,关键在于我们怎么利用SQL根据国民成年人体质测试文档计算出上述成年人的实际年龄呢。

SELECT  Id ,
        DATEDIFF(YEAR, Birthday, GETDATE()) AS age ,
        Name
FROM    dbo.t1

看到上述查询明显不正确,未到出生日期的人年龄并未减掉1,此时我们可以利用DATEPART函数,第一个参数指定为dayofyear,此参数表明指定日期到在这一年的天数,例如我们想要获取当前已经过了多少天。

SELECT DATEPART(dayofyear, GETDATE())

SELECT DATEPART(dayofyear, '2017-12-31')

我们通过出生日期的天数和当前日期的天数,若大于当前日期天数则说明生日还未到,否则减掉1。

SELECT  Id ,
        DATEDIFF(YEAR, Birthday, GETDATE())
        - CASE WHEN DATEPART(DAYOFYEAR, Birthday) > DATEPART(DAYOFYEAR,
                                                             GETDATE()) THEN 1
               ELSE 0
          END Age ,
        Name
FROM    dbo.t1

此时我们完成了年龄阶段的区分,下面我们再插入到另外一个数据库它test2中。 这里我能想到的是两种种方式,若还有其他欢迎补充。

LEFT JOIN ....IS NULL

我们利用左连接来进行插入,同时若重复的话则另外需要插入的表主键必定不为NULL,所以我们外加NULL判断则可以去除重复插入问题。

INSERT  INTO test2.dbo.t2
        ( UserId ,
          Birthday ,
          Gender ,
          Name
        )
        SELECT  t1.Id ,
                t1.Birthday ,
                t1.Gender ,
                t1.Name
        FROM    dbo.t1 AS t1
                LEFT JOIN test2.dbo.t2 AS t2 ON t1.Id = t2.UserId
        WHERE   t2.Id IS NULL  

当再次执行时则返回受影响行数为0

NOT EXISTS/NOT IN

INSERT  INTO test2.dbo.t2
        ( UserId ,
          Birthday ,
          Gender ,
          Name
        )
        SELECT  t1.Id ,
                t1.Birthday ,
                t1.Gender ,
                t1.Name
        FROM    dbo.t1 AS t1
        WHERE NOT EXISTS(SELECT t2.UserId
                    FROM test2.dbo.t2 t2
                   WHERE t2.UserId = t1.Id)
INSERT  INTO test2.dbo.t2
        ( UserId ,
          Birthday ,
          Gender ,
          Name
        )
        SELECT  t1.Id ,
                t1.Birthday ,
                t1.Gender ,
                t1.Name
        FROM    dbo.t1 AS t1
        WHERE t1.Id NOT in (SELECT t2.UserId
                    FROM test2.dbo.t2 t2
                   WHERE t2.UserId = t1.Id)

总结 

本节我们讲述了利用写SQL脚本避免重复插入问题,同时来讲述了如何根据出生日期查询实际年龄。

时间: 2024-10-30 18:12:40

通过SQL脚本导入数据到不同数据库避免重复导入三种方式的相关文章

PHP通过SQL语句将数据写入MySQL数据库指定的表

PHP向MySQL数据库中写入数据有三个步骤: 1,PHP和MySQL建立连接关系 2,打开MySQL数据库 3,接受页面数据,PHP录入到指定的表中 1.2两步可直接使用一个数据库链接文件即可:conn.php <?php mysql_connect("localhost","root","");//连接MySQL mysql_select_db("hello");//选择数据库 ?> 当然,前提是已经安装WEB

Excel2007教程:导入数据与链接数据库

Excel 2007拥 有强大的数据整理.分析能力,能够帮助我们完成日常工作中大部分的数据处理任务.要整理.分析数据,首先必须把数据装进Excel里面.除了逐一录入而 外,导入.连接数据库也是让Excel获得数据信息的重要方法.今天的专题主要以最新的Excel 2007为对象,介绍如何快速把各种数据导入Excel中,以及如何与外部数据库进行连接.另外,我们还推荐一些与Excel数据处理的相关内容. Excel工作簿连接(导入)外部数据的方法 Excel连接外部数据的主要好处是可以在Excel中定

access-Excel导入数据到Acces数据库的问题

问题描述 Excel导入数据到Acces数据库的问题 跟老师做项目,要求实现Excel到Access导入的功能,导入功能已经完成了,现在要求我实现这个功能:Access中有固定的字段,不能改变,而用户设计Excel的表头的字段可以任意设计,之后在用户设计的字段和Access中固定的字段进行映射,能将Excel表头字段下的值导入到Access映射下字段域下面.我想了很久都不知道该怎么进行映射,只靠字段名似乎不能进行相关方面的映射吧,求大神解答.

数据导入HBase最常用的三种方式及实践分析

要使用Hadoop,数据合并至关重要,HBase应用甚广.一般而言,需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中.常见方式为:使用HBase的API中的Put方法: 使用HBase 的bulk load 工具:使用定制的MapReduce Job方式.<HBase Administration Cookbook>一书对这三种方式有着详尽描述,由 ImportNew 的陈晨进行了编译,很有收获,推荐给大家. HBase数据迁移(1)-使用HBase的API

android sqlite使用之模糊查询数据库数据的三种方式

android应用开发中常常需要记录一下数据,而在查询的时候如何实现模糊查询呢?很少有文章来做这样的介绍,所以这里简单的介绍下三种sqlite的模糊查询方式,直接上代码把: package com.example.utils; import java.util.ArrayList; import android.content.ContentValues; import android.content.Context; import android.database.Cursor; import

Oracle数据库的备份与恢复的三种方法

Oracle数据库有三种标准的备份方法,它们分别是导出/导入(EXP/IMP).热备份和冷备份.导出备件是一种逻辑备份,冷备份和热备份是物理备份. 一. 导出/导入(Export/Import) 利用Export可将数据从数据库中提取出来,利用Import则可将提取出来的数据送回到Oracle数据库中去. 1. 简单导出数据(Export)和导入数据(Import) Oracle支持三种方式类型的输出: (1).表方式(T方式),将指定表的数据导出. (2).用户方式(U方式),将指定用户的所有

C#批量插入数据到Sqlserver中的三种方式_C#教程

本篇,我将来讲解一下在Sqlserver中批量插入数据. 先创建一个用来测试的数据库和表,为了让插入数据更快,表中主键采用的是GUID,表中没有创建任何索引.GUID必然是比自增长要快的,因为你生成一个GUID算法所花的时间肯定比你从数据表中重新查询上一条记录的ID的值然后再进行加1运算要少.而如果存在索引的情况下,每次插入记录都会进行索引重建,这是非常耗性能的.如果表中无可避免的存在索引,我们可以通过先删除索引,然后批量插入,最后再重建索引的方式来提高效率. create database C

c#数据库存取图片的三种方式

第一种方式   文件夹与数据库配合 近来做了不少关于这块的功能 ,随着网络的飞速发展,网络存取图片已不再是神话,而成为了一种时尚,如果是你 是用Asp.net开发的话,可能更多的人会考虑使用数据库存储图片的路经,而在文件夹是存储图片的方式.这种方式主要的方法有两个一个就是怎么样读取图片,怎么样存储图上,读取的话我就不多说的这个是最简单的了,只要大家把地址=给存储图片的对象就行了,在取的时候一般要使用相对地址也就是"~" 如下所: ImageUrl="../CardDeal/S

一起谈.NET技术,c#数据库存取图片的三种方式

第一种方式   文件夹与数据库配合 近来做了不少关于这块的功能 ,随着网络的飞速发展,网络存取图片已不再是神话,而成为了一种时尚,如果是你 是用Asp.net开发的话,可能更多的人会考虑使用数据库存储图片的路经,而在文件夹是存储图片的方式.这种方式主要的方法有两个一个就是怎么样读取图片,怎么样存储图上,读取的话我就不多说的这个是最简单的了,只要大家把地址=给存储图片的对象就行了,在取的时候一般要使用相对地址也就是"~" 如下所: ImageUrl="../CardDeal/S