使用DTS导入多个文件数据到SQL Server中

server|数据

使用DTS导入多个文件数据到SQL Server中

    在我们工作中,经常需要将保存在文件中的数据导入到SQL Serve的表中。有时可能需要同时从相同或不相同的文件目录中导入多个文件的数据到SQL Server中。这里我们将讨论如何使用批处理文件和DTS从一个特定的文件目录中,导入多个文件的数据到SQLServer中。

    试验环境
  我们先创建整个试验的环境。创建文件目录“C:\MyImport”,和三个文件a.csv、b.csv和c.csv,文件内容如下。同时,在SQL Server中创建一个表用来存放导入的数据。
    C:\MyImport\a.csv
    1, MAK, A9411792711, 3400.25
    2, Claire, A9411452711, 24000.33
    3, Sam, A5611792711, 1200.34
    4, Wright, A5611792711, 1200.34
    5, Richard, G561d792755, 1223.34
    6, Valarie, B5611792788, 1240.32
    C:\MyImport\b.csv
    11, Rubon, 9671792711, 400.14
    22, Mike, 9418952711, 4000.56
    39, Hsu, 75611792511, 1230.00
    C:\MyImport\c.csv
    69, Lucy, 8411992710, 305.11
    45, Grace, 3413452713, 246.52
    33, Saint, 5461795716, 1278.70
    
    Create Database Bank
    Go
    Use Bank
    go
    Create table Account([ID] int, Name Varchar(100),
    AccountNo varchar(100), Balance money)
    Go
    Create table logtable (id int identity(1,1),
   Status varchar(500),
   Importeddate datetime default getdate())
    Go
    use master
    go
    sp_addlogin 'importuser','import','Bank'
    go
    use Bank
    go
    sp_adduser 'importuser'
    go
    sp_addrolemember 'db_datareader','importuser'
    go
    sp_addrolemember 'db_datawriter','importuser'
    go

  创键DTS
   1、在DTS中创建3个全局变量,FileName、ServerName和DatabaseName。
  
  
  2、创建Text File (Source) 和SQL Server连接,并创建数据转换任务,如下图所示。
  
  3、设置数据转换的对应关系如下图。
  

  4、创建动态属性任务(dynamic tasks):连接InputFile中,设置Catalog的值为全局变量DatabaseName,DataSource的值为全局变量FileName;连接SQLServer中,设置DataSource的值为全局变量ServerName。
  
   
  
  5、增加一个“成功时”的工作流在动态属性任务和连接InputFile之间。
  
  6、如下图那样,创建一个执行SQL任务,来保存数据导入的记录。
  SQL为INSERT INTO LogTable (Status) VALUES (?)
  
  
  点击参数,来设置参数,设置参数1为全局变量FileName。
    
  
  7、增加一个“成功时”的工作流在连接SQLServer和执行SQL任务之间。
  
  8、将DTS包保存成结构化存储文件。你也可以保存在SQL Server中,但我们这里只讨论保存成结构化存储文件的方式。
  

  创建批处理文件
  如下所示创建批处理文件C:\MyImport\Import.bat。
    REM Type: Batch File
    REM Created by: Digjim
    REM Import all csv files to SQL Server using DTS
 
    REM Export DIR listing to C:\MyImport\Dirlist.txt
    dir c:\MyImport\*.csv /b > C:\MyImport\Dirlist.txt
 
    REM Execute DTS package for every file name in the Dirlist.txt

    for /f "tokens=1,2,3" %%i in (C:\MyImport\Dirlist.txt) do "C:\Program Files\Microsoft SQL Server\80\Tools\Binn\DTSrun.exe" -F "c:\myimport\myimportdts1.dts" -U importuser -P import –A "ServerName"="DIGJIM" -A "FileName"="c:\myimport\%%i" -A "DatabaseName"="Bank"

    REM Rename all the files with "old" as suffix
    ren c:\myimport\*.csv *.oldcsv

  执行批处理文件
   当批处理文件被执行以后,他会在C:\MyImport目录下产生一个DirList.txt的文件,这个文件会包含所有C:\MyImport下扩展名为CSV的文件,这些文件名会和其他必须的参数一气传输给DTSrun.exe。在这个例子里,DirList.txt的内容如下:
    C:\MyImport\DirList.txt
    acsv
    b.csv
    c.csv
   注意,在批处理文件中,根据你自己的情况设置ServerName,FileName和DatabaseName参数。
 
  结果
   现在你可以去你的数据库看结果,
   批处理输入的数据:

1

 MAK

 A9411792711

3400.25

2

 Claire

 A9411452711

24000.33

3

 Sam

 A5611792711

1200.34

4

 Wright

 A5611792711

1200.34

5

 Richard

 G561d792755

1223.34

6

 Valarie

 B5611792788

1240.32

11

 Rubon

9671792711

400.14

22

 Mike

9418952711

4000.56

39

 Hsu

75611792511

1230

69

 Lucy

8411992710

305.11

45

 Grace

3413452713

246.52

33

 Saint

5461795716

1278.7

     在logtable中记录的Log。

1

c:\myimport\a.csv

2004-4-19 1:16

2

c:\myimport\b.csv

2004-4-19 1:16

3

c:\myimport\c.csv

2004-4-19 1:16

如果你把DTS包存储在SQL Server中,批处理文件就这样写:
     REM Type: Batch File
     REM Created by: Digjim
     REM Import all csv files to SQL Server using DTS
 
     REM Export DIR listing to C:\MyImport\Dirlist.txt
     dir c:\MyImport\*.csv /b > C:\MyImport\Dirlist.txt
 
     REM Execute DTS package for every file name in the Dirlist.txt

     for /f "tokens=1,2,3" %%i in (C:\MyImport\Dirlist.txt) do "C:\Program Files\Microsoft SQL Server\80\Tools\Binn\DTSrun.exe" –S "SQL" –N "myimportdts" -U importuser -P import –A "ServerName"="DIGJIM" -A "FileName"="c:\myimport\%%i" -A "DatabaseName"="Bank" 

     REM Rename all the files with "old" as suffix
     ren c:\myimport\*.csv *.oldcsv

 

参考:

使用T-SQL导入多个文件数据到SQL Server中

时间: 2024-09-13 13:12:16

使用DTS导入多个文件数据到SQL Server中的相关文章

使用T-SQL导入多个文件数据到SQL Server中

server|数据 使用T-SQL导入多个文件数据到SQL Server中     在我们的工作中,经常需要连续输入多个文件的数据到SQL Server的表中,有时需要从相同或者不同的目录中,同时将文件中的数据倒入.在这篇文章中,我们将讨论如何同时把一个目录中的文件的数据倒入到SQL Server中.      试验环境    我们先创建整个试验的环境.创建文件目录"C:\MyImport",和三个文件a.csv.b.csv和c.csv,文件内容如下.同时,在SQL Server中创建

如何在SQL Server中恢复数据

server|恢复|数据 在SQL server 中恢复数据的几种办法: 1.自然就是 backup 的 恢复方法 backup 这种方法是最安全,最可靠的方法操作起来也很简单,只要在 sql server 的 enterprise manager中选择 restore 就可以了. 用T-SQL 也可以完成: RESTORE DATABASE test FROM DISK = 'c:\mssql7\backup\test.bak' 当然这是用的 文件恢复,如果是 设备恢复 自然也是可以的. 2.

在SQL Server中保存和输出任意类型的文件

server 我们可以把任意类型的文件保存到SQL Server中,在进行例子之前,先建立测试用表格,TestFile.sql: if exists (select * from dbo.sysobjects where id = object_id(N'[dbo].[TestFiles]') and OBJECTPROPERTY(id, N'IsUserTable') = 1)drop table [dbo].[TestFiles]GO CREATE TABLE [dbo].[TestFile

phpExcel导入excel文件数据到mysql数据库中老是出现页面访问错误是怎么回事

问题描述 phpExcel导入excel文件数据到mysql数据库中老是出现页面访问错误是怎么回事 在$sheet=$phpExcel->getSheet(0);如果不打印这个$sheet信息就会出现页面访问的错误信息 解决方案 要有一个sheet变量来获得getSheet(0)的sheet 解决方案二: $phpExcel->getSheet(0)那是取出第一张Sheet.如果不写,到底读写哪张Sheet? 解决方案三: http://www.jb51.net/article/59844.h

如何将MS SQL server中的数据导入到Mysql中

问题描述 在Mysql中已经有了表结构. 解决方案 我用navicat客户端,直接搞定.解决方案二:从sqlserver从导出数据到sql文件,去除[]括号和GO,直接到mysql运行sql文件即可.解决方案三:要将sql server数据库中的数据全部导入到mysql数据库中,其方法有多种,利用mysql ODBC把SQL Server中数据库中的数据导入到MySQL中第一步:安装mysql ODBC: 去相关的网站下载mysql ODBC进行安装. 第二步:建立MySQL的DSN: 在控制面

谈谈数据从sql server数据库导入mysql数据库的体验(原创)

mysql|server|数据|数据库|原创 因工作需要,要将存放在sql server数据库中的数据全部导入到mysql数据库中,在网上搜集相关资料,找到两种方法,现在分别谈谈对他们的看法. 第一种是安装mysql ODBC,利用sql server的导出功能,选择mysql数据源,进行数据的直接导出,这种方法很简便,但是针对实际应用有很多弊端,最主要体现就是数据类型问题,首先,sql server数据库中的ntext,image等数据类型的数据无法直接写入到mysql数据库中,据说只要稍加改

Java+XML将数据导入SQL Server中

在开始学习XML和数据库编程时,大家都对一大堆的文档和资料,无从入手.作者在工作中,正好要用到了这些,就手头的一个程序进行整理,其功能很简单,用Java语言从access数据库中,把一些数据导入到SQL数据库中. 原Access数据库表结构: 表:production 产品型号 字符串型 产品编号 零件图号 字符串型 零件编号 图号 字符串型 工具编号 SQL Server中数据表结构: Project 产品表 Id int 标识 Number varchar64 编号 Product 零件表

将Access数据库中数据导入到SQL Server中的详细方法实例_实用技巧

Default.aspx 复制代码 代码如下: <%@ Page Language="C#" AutoEventWireup="true" CodeFile="AccessToSQL.aspx.cs" Inherits="AccessToSQL" %> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "

将SQL Server中的表变成txt文件

方法一:用BCP命令 bcp 实用工具 bcp 实用工具在 Microsoft? SQL Server? 2000 实例和数据文件之间以用户指定的格式复数据. 语法 bcp {[[database_name.][owner].]{table_name | view_name} | "query"} {in | out | queryout | format} data_file [-m max_errors] [-f format_file] [-e err_file] [-F fir