SSIS数据流

数据流是在SQL Server 2005中才引入的新概念。数据流是专门处理数据操作的工作流。数据流也称为流水线。可以将数据流认为是装配线,该装配线包含了顺序执行的多个操作。在数据流中的每个节点都称为转换。数据流通常以源转换开始,以目标转换结束。在这两个转换之间,预定义的数据流转换被依序应用到数据上。一些转换是同步的,例如,查找、条件性拆分和数据转换。这些同步的转换可以并行执行。

一旦已经将转换应用到数据行上,则下一个转换可以开始处理该数据行,而无需等到上一级转换处理完整个数据集。一些转换是异步的,例如聚合和排序。这些转换必须从前面的输出中获得所有的行,从而可以处理和产生输出,用于后续转换。

时间: 2024-07-30 07:27:41

SSIS数据流的相关文章

SSIS:理解Data Flow Task 中的同步与异步等概念

理解Data Flow Task 中的同步与异步, 阻塞,半阻塞和全阻塞以及Buffer 缓存概念 在 SSIS Dataflow 数据流中的组件可以分为 Synchronous 同步和 Asynchronous 异步这两种类型. Synchronous 同步组件 同步组件有一个非常重要的特征 - 同步组件的输出和它的输入共享同一个缓存,即输入多少行数据 输出就多少行数据.在同步转换的过程中,输入一行,输出一行,输入与输出同步,它们同时发生. Asynchronous 异步组件 异步组件的特征就

db-用SSIS导出数据到DBF问题?

问题描述 用SSIS导出数据到DBF问题? 我在用SSIS数据流到处数据到DBF文件中,应该选择哪个数据流目标?平面文件?还是OLE DB目标?求高手帮忙解决 解决方案 使用Ole DB,参考如何连接到 dBASE 或其他 DBF 文件.aspx ""如何连接到 dBASE 或其他 DBF 文件"") 解决方案二: 链接地址:http://msdn.microsoft.com/zh-cn/library/aa337084(v=sql.105).aspx 解决方案三:

Data Flow Task中的同步与异步, 阻塞,半阻塞和全阻塞及Buffer缓存概念

在 SSIS Dataflow 数据流中的组件可以分为 Synchronous 同步和 Asynchronous 异步这两种类型. Synchronous 同步组件 同步组件有一个非常重要的特征 - 同步组件的输出和它的输入共享同一个缓存,即输入多少行数据输出就多少行数据.在同步转换的过程中,输入一行,输出一行,输入与输出同步,它们同时发生. Asynchronous 异步组件 异步组件的特征就是它的输出使用的是一个新的缓存,它不会重用输入的缓存,输出的记录有可能比输入多,也有可能比输入少.在异

如何灵活运用SQL Server 2005 SSIS变量

随着SQL Server 2005不断的推广和普及,越来越多的企业的决策支持项目采用了SQL Server 2005商务智能解决方案.本文就SSIS开发ETL(Extract-Transform-Load,数据抽取.转换.装载的过程)过程中SSIS用户变量的使用向读者作简单介绍. 一. SSIS变量简介 SSIS(SQL Server Integration Services,SQL Server整合服务)变量分为两种,一种是系统变量,一种用户定义的变量.系统变量包含有关包.容器.任务或事件处理

在SQL2005 轻松配置SSIS包

sql2005 在以前的DTS中,在包的开发.测试.发布迁移过程中有很多问题,典型的问题是你必须手动的确定包中的所有连接都指向一个实际存在的物理服务器 幸运的是,现在在SSIS中提供了这种问题的解决方案,那就是包配置包配置是一个动态改变你的SSIS对象和连接属性的一种机制,它把这些动态可以改变的信息保存在包的外部,有下面几种方法存储这些值并将其传送到包中: XML文件 环境变量 注册表键值 父包变量 下面我们将举例使用XML文件存储这些值 这个例子我们将会把一个文本文件导入到数据库的表中,并可以

SQL2005中SSIS的空目标适配器

sql2005 SQL2005中SSIS的空目标适配器 这个适配器使用非常简单且不用安装,主要用它来中止你的数据流,相当于空设备 添加适配器到工具栏 在工具栏中选择项1.在SSIS包中右键选择"Choose Items..." 2.定位并选择适配器在对话框中选择"SSIS Data Flow Items"栏,并选中它,单击OK 3. 现在你就可以在工具栏看到空适配器了 

SQL2005-深入了解SSIS中记录集的应用

sql2005|记录集 SQL2005-深入了解SSIS中记录集的应用 在本文,我将介绍如何产生记录集,并将利用记录集中的行和列干某些事情,比如当你想基于行遍历执行某项操作,这是非常有用的 产生记录集非常简单了,上文<SSIS中ExecuteSQL TASK组件>中就介绍了 好了,现在开始我们的准备工作 1.现在我们定义4个变量 ClosureDate 日期型数据 ,初始值为1/12/1999 Contactname 字符串型 emailaddress 字符串型 rsDetails 对象型 这

通过设置 CheckPoints 检查点来增强 SSIS Package 流程的重用性

通常一个 ETL Package 是由多个控制流和数据流共同组成,有的时候 ETL 的步骤可能会比较多,整个流程执行下来的时间可能比较长.假设在 ETL Package 中包含5个Task,前3个Task执行超过1个小时,到了第4个Task的时候发生失败.如果下次执行的时候重新从第1个任务开始执行,那么又要花费1个小时等待 1-3 任务执行,无疑在效率上讲是非常低的.特别是在数据仓库的应用上,往往从数据源到Staging的过程中有千万级甚至亿级的数据要加载,加载完毕之后再进入到维度和事实表.如果

SSIS 系列:Lookup 组件的使用与它的几种缓存模式

先简单的演示一下使用 Lookup 组件实现一个简单示例 - 从数据源表 A 中导出数据到目标数据表 B,如果 A 数据在 B 中不存在就插入新数据到B,如果存在就更新B 和 A 表数据保持统一. 随后再来解释在这个过程中使用到的一些术语,以及分析一下 Lookup 中出现的几种缓存模式,各自的特点以及常用的场合. 两张表,一张是目标表 DEMO_LK_Customer,一张是 DEMO_LK_LegacyCustomer  旧系统表.我们可以理解我们这个示例要实现的目标是 DEMO_LK_Cu