java实时数据集成简介

现在,复杂的“可热插拔”系统和面向服务的体系结构(SOA)得到了广泛应用,这使得将数据合理地整合在一起的难度日益增加。尽管您的主要应用程序数据库在Oracle数据库上运行,但是可能还有其他较小的系统在其他供应商提供的数据库和平台上运行。您的应用程序本身可以通过 Web服务之类的技术进行交互,应用程序和数据可以远程托管,也可以由您在企业数据中心内进行管理。

Oracle Data Integrator属于Oracle融合中间件产品系列,它解决了异构程度日益增加的环境中的数据集成需求。它是一个基于Java的应用程序,可以使用数据库来执行基于集合的数据集成任务,也可以将该功能扩展到多种数据库平台以及Oracle数据库。此外,通过它,您还可以通过 Web服务和消息提取并提供转换数据,以及创建在面向服务的体系结构中响应和创建事件的集成过程。

Oracle Data Integrator产品体系结构

Oracle Data Integrator是以Java图形模块和调度代理访问的模块化信息库为中心进行组织的。图形模块用于设计和构建集成过程,代理用于安排和协调集成任务。当 Oracle Data Integrator项目投入生产时,数据管理员可以使用基于Web的Metadata Navigator应用程序来根据信息库中的元数据生成报告。现成的知识模块可以使用特定于平台的代码和工具跨异构平台提取和加载数据。

Oracle Data Integrator 信息库包含一个主信息库(包含有关用户和角色的详细信息)、到数据库和其他数据源的连接、项目版本以及一个或多个工作信息库(包含数据模型的详细信息以及用于集成数据的映射)。这些信息库可以存储在 Oracle 和非 Oracle 关系数据库中,可以使用图形模块进行管理,并可以在运行时由代理进行访问。

有四个图形模块可用来创建和管理 Oracle Data Integrator 项目:

Designer 用于定义数据存储(表、文件、Web服务等)、接口(数据映射)以及程序包(包括接口在内的几组集成步骤)。

Topology Manager 用于创建和管理到数据源和代理的连接,通常限制为只有管理员可以访问。

Operator 用于查看和管理产品集成作业。

Security Manager 管理用户及其信息库权限。

这些基于 Java 的应用程序可在包括 Microsoft Windows、Macintosh OS X 和 Linux 在内的任何 Java 环境中运行。

声明式设计

一般来说,数据集成任务涉及两个主要的领域:

关于转换哪位数据并将其与其他位相结合的业务规则

关于数据的实际提取、加载等操作方式的技术细节

这种划分意味着,定义业务规则的人通常是机构的技术业务专家或数据专家,而技术细节则往往留给开发人员和 DBA 等技术人员来定义。使用大多数数据集成工具,通常很难以这种方式划分职责,因为它们的数据映射特性在同一个数据映射中混合了业务规则和技术实现细节。而 Oracle Data Integrator 采用了一种不同的方法,像 SQL 一样使用声明式方法来构建数据映射,这在工具中称为“接口”。

创建新的接口时,开发人员或技术业务用户首先定义要集成的数据以及应使用的业务规则。在该步骤中,会将表联接在一起,应用过滤器,并使用 SQL 表达式来转换数据。所使用的特定 SQL 语言由执行代码的数据库平台来决定。

然后,在另一个步骤中,技术人员可以使用特定于数据库的工具和设计方法(例如增量加载、批量加载工具、渐变维度和更改数据捕获)以最有效的方式来提取、组合并集成该数据。

可扩展的知识模块

由于 Oracle Data Integrator 在响应事件的同时从很多不同的数据库平台加载和转换数据并使用基于消息的技术(如 Web 服务),因此用于访问和加载这些不同数据源的技术需要灵活、可扩展而又高效。Oracle Data Integrator 通过知识模块解决了该问题。

知识模块是 Oracle Data Integrator 的“插件”,它浓缩了为特定数据源或特定目标加载、转换或集成数据的最佳实践。Oracle Data Integrator 有六种知识模块,如下图所示:

时间: 2024-11-03 14:54:24

java实时数据集成简介的相关文章

电力行业实时数据集成解决方案

一.方案概述 近年来,随着国民经济的迅速发展,电网规模日趋扩大,供电企业信息化水平不断提高,各种自动化应用方兴未艾,除自动化应用之外,供电企业还建设了大量的管理系统,为企业日常管理提供各种重要的服务. 然而,由于普遍缺少来自生产一线的自动化数据的支持,限制了管理系统其深层次应用功能的开发,致使管理应用停留在工单流转层面,对历史/实时数据的分析与统计,对监控.报警.趋势预测能力不足:各个应用系统分别来自不同的厂家,各种自定义格式杂乱且分散,难以管理及维护,造成了大量的资源浪费:管理系统与自动化应用

SPSS和ICM使用java Application进行业务数据集成

本文着重介绍了 SPSS 和 ICM 使用 java Application 进行业务数据上的集成,以及相关的开发配配置.SPSS 是目前广泛应用于各种领域的数据挖掘预测工具.IBM Case Manager 是一个图形化的案例管理系统,运用这个系统可简化案例管理方案的设计和构建,管理案例处理的流程.如何让 IBM Case Manager 和 SPSS 开发结合起来,让客户在传统的数据展示之外,实现 深入的分析挖掘,并将其运用到医疗反欺诈的案例流程管理当中,是一件非常有意义和创新性的工作.本文

消息总线扩展之面向消息的数据集成

最近一段时间,我在琢磨消息总线除了能进行受管控的消息通信之外,还有哪些可以扩展的方向.这篇文章我们来探讨一下面向消息的数据集成是否可以作为一种尝试方向. 相关技术简介 XML 谈到XML我们的第一映像就是用它来做各种配置,当然如果你是Javaer,那么可能你印象最深的就是Spring的bena配置了.其实,XML的用途远不止充当配置文件这一方面.它还被广泛应用于异构系统集成.数据集成.语义/协议转换等等方面,甚至成为构建平台非常重要的基石.虽然XML一直以来被人诟病其解析效率低下以及数据量太冗余

数据集成工具领域,TOP10厂商优劣分析

数据集成是把不同来源.格式.特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享.在企业数据集成领域,已经有了很多成熟的框架可以利用.架构师或开发人员对数据集成工具的效率应该有所要求.好的数据集成工具是具有分布式处理能力,可读取,分析,交互,在具有分布式处理能力的动态模型中快速对本地和外来数据做出反应. 1.Actian Actian位于加利福尼亚州雷德伍德市,通过Actian DataConnect和Actian DataCloud提供数据集成功能.Actian的数据集成工具

Sybase操作型BI数据管理与数据集成

本文将对Sybase 操作型BI解决方案(Operational BI)进行评述,目的不是要提供一个深入的产品指南,而是对解决方案的主要特征进行概述,同时介绍Sybase是如何支持操作型BI环境的-- 数据管理服务组件 Sybase可提供操作型BI数据管理与数据集成.它不仅开发了管理BI信息的产品,还开发了数据库设计产品.Sybase IQ与Sybase PowerDesigner则是其中两个关键的产品. Sybase IQ Sybase操作型BI解决方案的基石是Sybase IQ关系型数据库系

Sybase数据集成套件介绍

如今,企业迫切希望 DBA(数据库管理员)和开发人员能够集成公司数据,以便协助管理信息.挖掘客户数据库或满足日常要求.Sybase 正借助一种称为 Sybase 数据集成 (DI) 套件的新产品来满足这种需求.此项新技术的主要功能包括: _ 访问多个不同数据源,且能够创建单一.集成的数据视图 _ 访问各种异构数据源,包括大型机数据源 _ 捕获数据源中的实时事件,并将其传播到应用程序中 _ 使用上下文搜索对结构化和非结构化数据中的信息进行搜索和查询 _ 使用 Sybase WorkSpace 开发

使用IBM Rational ClearQuest Java API进行集成开发

通过 JNI 技术使用 ClearQuest Java API 实现与 Rational ClearQuest Test Manager(CQTM )系统的集成 简介:Rational ClearQuest 是一个缺陷和变更的管理系统,ClearQuest Test Manager (CQTM) 作为 一个模型运行在 ClearQuest V7 的顶层.其管理功能可覆盖测试的整个生命周期,包括测试计划.测试 编写.测试执行和测试报告.为了能够更好地使用CQTM提供的强大功能,自如地与其他应用系统

服务数据对象简介

简单地说,SDO是一种数据应用程序开发框架,它包括一个体系结构和相应的 API.SDO 能够实现以下操作: 简化 J2EE 数据编程模型. 抽象面向服务体系结构(SOA)中的数据. 统一数据应用程序的开发. 支持和集成 XML. 结合 J2EE 模式和最佳实践. 在这篇介绍 SDO 框架的文章中,我们将尝试着解释 SDO 背后的动机,以及 SDO 与其他规范的区别,然后描述 SDO 的组成,最后,通过一个示例 SDO 应用 程序说明 SDO 的用法. 为什么要使用 SDO? 对于服务数据对象(S

阿里巴巴下一代数据集成技术

摘要 数据集成是把不同来源.格式.特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享.在企业数据集成领域,已经有了很多成熟的框架可以利用.目前通常采用联邦式.基于中间件模型和数据仓库等方法来构造集成的系统,这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持. 视频分享地址:https://v.qq.com/iframe/player.html?vid=o0547tqlw0z&width=670&height=376.875&auto=0 数据工厂 数