使用WebSphere DataStage XML和Web Services包转换和集成数据

本文配套源码

IBM WebSphere DataStage XML 和 Web Services 包是 DataStage 中的组件,用于在涉及 XML 和 Web 服务时交付快速数据集成解决方案。研究 DataStage Web Services 和 XML 包的主要功能和操作。学习如何使用这两个包转换、集成数据以及获取 Google 搜索 Web 服务。本文包括 4 个示例,每个示例都有简单的概述、详细的步骤、说明和图片。

简介

DataStage XML 和 Web Services 包概述

Ascential DataStage 是 IBM 在 2005 年收购得到的,现名 IBM WebSphere DataStage。它是一款方便的、基于 GUI 的提取、转换和装载(ETL)工具,可用于集成不同结构和格式的数据,并且有效地支持客户关系管理(CRM)分析、决策支持系统(DSS)和电子商务。

DataStage 基于一个客户机-服务器基础设施,包括设计器、管理器、导控器(director)和管理员组件,同时提供了健壮的功能。DataStage 可以大大简化从开发到维护的任务。

DataStage 的 XML 包和 Web Services 包是本文的焦点。通过这两个包,很容易将 XML 和 Web 服务集成到 DataStage 解决方案中。使用 DataStage 的这两个包的优点有:

缩短开发时间

加快用户响应

用户友好的开发、管理和维护 GUI 环境

DataStage XML (DataStage 的 XML 包)由 XML 摘要、XML 发布和转换功能组成。本文的 XML 部分介绍 XML 包提供的一种主要的转换:XML 文档与表数据之间的转换。

Web Services 包能够使 DataStage 可以调用远程服务,并将那些远程服务当作简单的数据源、数据目标或交互式数据接口。本文的 Web 服务部分将介绍提供交互式数据接口的 Web Services Transformer。

本文包括 4 个关于使用 DataStage(Version. 7.5.1A,安装了 XML 和 Web Services 包) 开发数据解决方案的示例,对于每个示例都进行了分析和注解。这 4 个示例基于以下典型的场景:

根据表数据发布 XML 文档

将 XML 文档解析为表数据

访问具有输入和输出数据的Web 服务

先决条件

安装有WebSphere DataStage V7.5.1A,其中含 DB2 包、XML 包和 Web services 包。

安装有 IBM DB2 for Linux, UNIX, and Windows V8.2(或更高版本)。

读者具有 XML、Web 服务和 DB2 等方面的一些实践经验,并且有 DataStage 方面的基础知识。

第 1 部分. 根据表数据发布 XML 文档

根据已有的表数据发布 XML 文档是一个常见的场景。有时候,需要将关系表或顺序文件转换成 XML 分层结构,例如 XML 文档或 XML 块。在这个例子中,可以使用 XML 输出 stage 来生成 XML 输出。它使用 XPath 表达式将输入表字段映射到输出文档中的某些位置。

示例 1. 使用 XML 输出 stage 根据两个表生成 XML 文件

图 1. XML 发布的任务图

示例 1 概述

在示例 1 中,分别从两个对应的 DB2 表中提取客户数据和联系方式数据,如 图 1 所示。接着,使用转换器替换复杂的 SQL,集成数据,并通过 DSLink6 将连接后的数据提供给 XML 输出 stage。然后,XML 输出 stage 生成 XML 结果,并将结果保存到文件系统。图 1 简要地描述了整个应用程序 demo。

时间: 2024-09-09 14:21:31

使用WebSphere DataStage XML和Web Services包转换和集成数据的相关文章

在Rational Application Developer平台上基于JAX-WS开发Web services

引言 Web Services 是一种面向服务的技术,通过标准的 Web 协议提供服务,目的是保证不同平台 的应用服务可以互操作.依据 web services 规范实施的应用之间,无论它们所使用的语言. 平台或内部协 议是什么,都可以相互交换数据,这就是 web services 的好处.本文选择 IBM WebSphere Application Server 作为 web services 的运行环境,并选择 IBM Rational Application Developer(以下简称

基于JAX-WS开发Web services快速入门

Web Services 是一种面向服务的技术,通过标准的 Web 协议提供服务,目的是保证不同平台的应用服务可以互操作.依据 web services 规范实施的应用之间,无论它们所使用的语言. 平台或内部协议是什么,都可以相互交换数据,这就是 web services 的好处.本文选择 IBM WebSphere Application Server 作为 web services 的运行环境,并选择 IBM Rational Application Developer(以下简称 RAD)f

用 Amazon Web Services 进行云计算,第 1 部分: 简介

学习基本的 Amazon SimpleDB (SDB) 概念,研究 boto(一个用于与 SDB 交互的开放源码 Python 库)提供的一些功能.在这个 "用 Amazon Web Services 进行云计算" 系列中,学习如何使用 Amazon Web Services 进行云计算.了解这些服务如何为设计和构建可伸缩.可靠的应用程序提供一种可选方案.第一篇文章解释虚拟基础设施的构建块的特性.学习如何使用 Amazon Web Services 构建 Web 范围的系统. 什么是云

演练:从 Windows 窗体调用 XML Web services

services|web|window|xml XML Web services 是 Visual Studio 的一个新功能,它提供在松耦合环境中使用标准协议(如 HTTP.XML.XSD.SOAP 和 WSDL)交换消息的功能.可以结构化和类型化这些消息或对这些消息进行松散定义.因为 Web 服务基于标准协议,所以 Web 服务应用程序可以与各种不同的实现.平台和设备通讯.有关更多信息,请参阅托管代码中的 XML Web services.可以使用 Web 服务增强 Windows 窗体功能

面向Microsoft SQL Server 2005的本机XML Web Services概述

了解如何借助SQL Server 2005(以前称为"Yukon")中的SOAP/HTTP来设置和使用XML Web Services.文中还包含了相关的示例.为了从本文最大地受益,应该对Web服务技术具有基本的了解,包括HTTP.SOAP和WSDL.它包含的具体内容有:要求.HTTP终结点.创建HTTP终结点.身份验证与安全.WSDL.SOAP RPC:方法调用.批处理:即席查询和管理. 简介 Microsoft SQL Server 2005 提供了一个标准机制,用于使用 SOAP

Build Data-Driven Web Services with Updated XML Support for SQL Server 2000

server|services|web|xml Download the code for this article: SQLXML3.exe (239KB) --->SUMMARY XML is becoming the ubiquitous data format on the Web, and XML support in SQL Server is evolving to meet the additional demand. Using XML, SOAP, HTTP, and SQL

COM+ Web 服务:通过复选框路由到 XML Web Services(1) (微软中国)

services|web|xml|复选框|微软 COM+ Web 服务:通过复选框路由到 XML Web Services John Noss 和 Jonathan HawkinsMicrosoft Corporation 2001年11月 摘要:COM+ Web 服务新增了某些功能,可与 Microsoft .NET Remoting 集成,并通过 SOAP for COM+ 组件实现 XML Web Services 发布的复选框激活.本文通过几个示例介绍基本的互操作性.配置以及托管和非托管

COM+ Web 服务:通过复选框路由到 XML Web Services (转)5

services|web|xml|复选框 在图 3 所示的 COM+ 应用程序导出向导中,输入代理 .msi 文件的位置和名称. 在图 3 所示的 COM+ 应用程序导出向导中,输入代理 .msi 文件的位置和名称. 图 3:COM+ 应用程序导出向导 将代理 .msi 文件安装在单独的客户端计算机上,作为预先生成的 COM+ 应用程序. 安装时将对代理进行适当的配置,以便通过 SOAP 访问正确的服务器和虚拟根.对于客户端激活,可以不使用 WSDL 名字对象,而使用常规非托管的 COM+ 激活

COM+ Web 服务:通过复选框路由到 XML Web Services (转)9

services|web|xml|复选框 编译并运行此 Visual Basic .NET 应用程序,将产生与前面两个 VBScript CAO 示例相同的输出内容. 因为服务器应用程序将组件发布为 CAO 和 WKO 两种形式,所以由远程客户端选择激活方法.虽然可能只对学术研究有意义,但是单一客户端计算机确实可以使用同一组件的两种远程激活方法,访问远程服务器上同一个 SOAP 发布的虚拟根. SOAP 与 DCOM 的局限性和区别.NET Remoting 的目的之一是提供丰富的分布式环境,使