通用组件转换数据集成模型

通用组件转换数据集成模型

最常见的转换是那些使数据符合企业数据模型的转换。需要具体聚合和计算的转换被转移到主题领域加载,或者是转移到它们该去的地方,数据在主题领域被转换。

在企业级聚合和计算方面,通常非常少;大部分转换是针对具体主题领域的。图3.14描绘了一个通用组件转换数据集成主题领域模型示例。

图3.14 通用组件——转换数据集成模型示例。

请注意,需求沉淀层的聚合已经从通用组件模型中移除了,已经本着“把功能转移到需要的地方”这一思想转移到主题领域加载了。

物理主题领域加载数据集成模型

主题领域加载数据集成模型基于主题领域(目标分组)依赖在逻辑上把“目标表”分到一组,并为原系统处理(间接层)简化服务。

加载数据集成模型主题领域执行以下功能:

加载数据

刷新快照加载

执行变更数据捕获

正是在主题领域加载数据集成模型中,主键和外键将被创建,参考完整性被确认,变更数据捕获被处理。

除了为可理解性和可维护性按主题领域分组数据简化,按主题领域分组数据在逻辑上限制了每次处理承载的数据量,因为尽可能少量地承载数据是很重要的,尽管这些流程已经对性能影响做了最小化处理。图3.15展示了物理数据集成主题领域模型的一个示例。

图3.15 物理主题数据领域加载数据集成模型示例。

逻辑数据集成模型VS.物理数据集成模型

在这些工作中总会遇到这样一个问题:“已经需要有一组逻辑数据集成模型了,还需要再有一组物理数据集成模型吗?”

对数据集成模型的答案与数据模型的答案是一样的:“要看情况”。它取决于在他们的元数据管理方面将创建、管理并掌握模型的数据管理组织成熟度,也取决于其他数据管理工件(比如:逻辑数据模型和物理数据模型)。

时间: 2024-08-01 17:25:05

通用组件转换数据集成模型的相关文章

云计算下异构数据集成模型的构建

云计算下异构数据集成模型的构建 耿玉水,寇纪淞 为使用户能够将现有的应用系统向云计算环境迁移,将原有的异构数据处理无缝的映射为云计算环境下通用的数据服务和行为,从云计算和云存储的理论和模型出发,面向大规模的数据密集应用,针对各种异构数据库存储系统和云存储系统,构建云计算环境下异构数据模型,为用户提供透明.统一的异构数据集成和访问接口服务.实践证明:云计算下基于本体的异构数据集成模型的构建,可以为云计算环境下各业务应用提供统一的数据管理和处理方法,方便.快捷地实现异构数据统一的检索与查询以及业务应

基于SaaS的通用评审系统数据存储模型的优化研究

基于SaaS的通用评审系统数据存储模型的优化研究 王锋 韩学奇 主要针对构建基于SaaS模式的通用评审系统时需要解决的数据存储问题展开.着重对传统的可定制数据存储模型中,存储利用率和数据访问性能较低的缺点,结合数据访问热度指标.数据切分理论和元数据驱动的思想,在传统键值对数据存储模型的基础上,提出了适用于可定制的SaaS系统的基于热度的元数据驱动键值对区分调用的存储解决方案:同时,通过引入缓存机制对改进后的可定制数据存储模型进行了优化.最后对新模型和优化算法进行了实验研究,实验结果证明了该优化方

软件开发生命周期内的数据集成建模

数据集成模型遵从与软件开发生命周期中数据建模时出现的需求和设计抽象精 炼通用的级别.正如存在概念的,逻辑的和物理的数据模型,也存在概念的,逻 辑的和物理的数据集成需求,需要在软件开发生命周期的不同点进行捕获,它们 可能在流程模型中有所展现. 下面是每种模型类型的简要说明,关于角色 .步骤以及模型示例的更完整定义将会在本章的后面进行阐述. 概念数据 集成模型定义.为目标系统产生一种无需实施的数据集成需求展现,将作为确定 他们怎样能得到满足的基础. 逻辑数据集成模型定义.在数据集层面产生 详细的数据

利用流程建模进行数据集成

对于诸如数据集成这类信息技术应用,流程建模是一种经过尝试并证明可行的 方法.通过对数据集成应用流程建模技术,虚拟化和标准化的问题也会涉及到. 首先,我们来了解一下流程建模的类型吧. 利用流程建模进行数据集成 流程建模是以某种详细程度展示系统相关流程的一种手段,利用指定类型 的图表通过一系列流程展示数据流.流程建模技术通常图形化地展示具体流程, 以便更清晰地理解,交流并在设计和开发系统流程中的涉众之间进一步精细化. 流程建模不像数据建模,有几种不同的流程模型类型,它与不同的流程交 互类型有关.这些

探索通用可编程数据平面

引言:相比传统网络数据平面,通用可编程数据平面让网络用户可以自定义数据包的完整处理流程,实现理想的协议无关网络数据处理.作为一种理想的SDN数据平面,通用可编程数据平面还不够完善,还需要在不断的尝试中摸索前进. 本文选自<重构网络:SDN架构与实现>. 相比传统网络数据平面,通用可编程数据平面让网络用户可以自定义数据包的完整处理流程,实现理想的协议无关网络数据处理.而当下的OpenFlow模型还无法成为一种完全的通用可编程数据转发模型,还无法实现协议无关的转发.只有实现了真正的通用可编程数据平

使用WebSphere DataStage XML和Web Services包转换和集成数据

本文配套源码 IBM WebSphere DataStage XML 和 Web Services 包是 DataStage 中的组件,用于在涉及 XML 和 Web 服务时交付快速数据集成解决方案.研究 DataStage Web Services 和 XML 包的主要功能和操作.学习如何使用这两个包转换.集成数据以及获取 Google 搜索 Web 服务.本文包括 4 个示例,每个示例都有简单的概述.详细的步骤.说明和图片. 简介 DataStage XML 和 Web Services 包

应用Rational 工具简化基于J2EE的项目 (三)转换到系统模型

j2ee|项目|转换 第 3 部分 :转换到系统模型 Steven Franklin软件设计师和过程专家2004 年 3 月 本文将继续通过这个全面的应用 RUP 和 其他 Rational 工具的样例项目来介绍创建项目的 Rational Rose 模型,本文中我们将开始创建代表"目前"业务情况的系统模型,并将此业务模型转换成为"将来"的系统模型. 这个第 3 部分文章重点的介绍了在 Rational Rose 中完成的早期建模活动.首先我们来对 ASDI 现有的

Sybase数据集成套件介绍

如今,企业迫切希望 DBA(数据库管理员)和开发人员能够集成公司数据,以便协助管理信息.挖掘客户数据库或满足日常要求.Sybase 正借助一种称为 Sybase 数据集成 (DI) 套件的新产品来满足这种需求.此项新技术的主要功能包括: _ 访问多个不同数据源,且能够创建单一.集成的数据视图 _ 访问各种异构数据源,包括大型机数据源 _ 捕获数据源中的实时事件,并将其传播到应用程序中 _ 使用上下文搜索对结构化和非结构化数据中的信息进行搜索和查询 _ 使用 Sybase WorkSpace 开发

阿里巴巴下一代数据集成技术

摘要 数据集成是把不同来源.格式.特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享.在企业数据集成领域,已经有了很多成熟的框架可以利用.目前通常采用联邦式.基于中间件模型和数据仓库等方法来构造集成的系统,这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持. 视频分享地址:https://v.qq.com/iframe/player.html?vid=o0547tqlw0z&width=670&height=376.875&auto=0 数据工厂 数