本文配套源码
IBM WebSphere DataStage XML 和 Web Services 包是 DataStage 中的组件,用于在涉及 XML 和 Web 服务时交付快速数据集成解决方案。研究 DataStage Web Services 和 XML 包的主要功能和操作。学习如何使用这两个包转换、集成数据以及获取 Google 搜索 Web 服务。本文包括 4 个示例,每个示例都有简单的概述、详细的步骤、说明和图片。
简介
DataStage XML 和 Web Services 包概述
Ascential DataStage 是 IBM 在 2005 年收购得到的,现名 IBM WebSphere DataStage。它是一款方便的、基于 GUI 的提取、转换和装载(ETL)工具,可用于集成不同结构和格式的数据,并且有效地支持客户关系管理(CRM)分析、决策支持系统(DSS)和电子商务。
DataStage 基于一个客户机-服务器基础设施,包括设计器、管理器、导控器(director)和管理员组件,同时提供了健壮的功能。DataStage 可以大大简化从开发到维护的任务。
DataStage 的 XML 包和 Web Services 包是本文的焦点。通过这两个包,很容易将 XML 和 Web 服务集成到 DataStage 解决方案中。使用 DataStage 的这两个包的优点有:
缩短开发时间
加快用户响应
用户友好的开发、管理和维护 GUI 环境
DataStage XML (DataStage 的 XML 包)由 XML 摘要、XML 发布和转换功能组成。本文的 XML 部分介绍 XML 包提供的一种主要的转换:XML 文档与表数据之间的转换。
Web Services 包能够使 DataStage 可以调用远程服务,并将那些远程服务当作简单的数据源、数据目标或交互式数据接口。本文的 Web 服务部分将介绍提供交互式数据接口的 Web Services Transformer。
本文包括 4 个关于使用 DataStage(Version. 7.5.1A,安装了 XML 和 Web Services 包) 开发数据解决方案的示例,对于每个示例都进行了分析和注解。这 4 个示例基于以下典型的场景:
根据表数据发布 XML 文档
将 XML 文档解析为表数据
访问具有输入和输出数据的Web 服务
先决条件
安装有WebSphere DataStage V7.5.1A,其中含 DB2 包、XML 包和 Web services 包。
安装有 IBM DB2 for Linux, UNIX, and Windows V8.2(或更高版本)。
读者具有 XML、Web 服务和 DB2 等方面的一些实践经验,并且有 DataStage 方面的基础知识。
第 1 部分. 根据表数据发布 XML 文档
根据已有的表数据发布 XML 文档是一个常见的场景。有时候,需要将关系表或顺序文件转换成 XML 分层结构,例如 XML 文档或 XML 块。在这个例子中,可以使用 XML 输出 stage 来生成 XML 输出。它使用 XPath 表达式将输入表字段映射到输出文档中的某些位置。
示例 1. 使用 XML 输出 stage 根据两个表生成 XML 文件
图 1. XML 发布的任务图
示例 1 概述
在示例 1 中,分别从两个对应的 DB2 表中提取客户数据和联系方式数据,如 图 1 所示。接着,使用转换器替换复杂的 SQL,集成数据,并通过 DSLink6 将连接后的数据提供给 XML 输出 stage。然后,XML 输出 stage 生成 XML 结果,并将结果保存到文件系统。图 1 简要地描述了整个应用程序 demo。