本文,主要为大家介绍了面向数据集市、ODS 应用的 ISAS5710 系统,并以 ISAS5710 Medium 系统为例,重点为大家介绍了如何安装、配置 ISAS5710 系统;如何设计、部署用户数据集市数据库及相关的分析应用,以帮助大家快速掌握利用 ISAS5710 快速部署数据集市应用的基本方法。
随着用户业务系统的不断完善,市场竞争的日益激烈,越来越多的企业都在建设数据仓库、数据集市、ODS 系统来分析用户的需求、优化企业的运行、发现更多的市场机会、在竞争中处于领先地位。当用户实施一个数据仓库、数据集市、ODS 系统时,对用户来说,一个非常大的挑战就是未来的数据仓库系统应该选择什么样的数据仓库软件;选择什么样的服务器,服务器的配置是什么,选择多少台服务器;选择什么样的存储设备,存储容量要多大,存储设备配置是什么;选择什么样的网络设备,它的配置是什么才能保证系统性能高效、稳定。同时,随着系统的应用,数据量会急剧增长,如何在保证系统性能的前提下,提供更好的系统扩展能力也是用户非常关心的问题。另外,对于大多数用户来说,都希望能够提供一个预先配置好的、性能优化的软硬件一体机,实现配置、优化、服务一站式服务。
为了解决上述问题,IBM 结合自己多年实施客户数据仓库系统的经验,并协同 IBM 软件部门、服务器部门、存储部门及实验室,共同推出了 IBM Smart Analytics System(ISAS) 解决方案,它是一个包含服务器、存储、数据仓库软件在内的完整解决方案,它基于 IBM 最佳实践并得到充分验证,是一个预先配置好的、性能优化的、可立即使用的解决方案,客户无需靠猜测或假象去配置并验证,实现开箱即用。IBM Smart Analytics System 采用平衡配置 BCU(Balanced Configuration Unit) 的理念,每个组件(数据库、服务器和存储)提供均衡的性能确保整体方案性能最优。同时,它采用可扩展的模块化设计,数据仓库系统在整个生命周期中,可以以增量的方式进行扩展,达到的性能可预见、可度量。
IBM Smart Analytics System 体系结构
IBM Smart Analytics System(ISAS) 主要由以下几个模块组成:如下图:
图 1. ISAS 体系结构
Foundation Module: 有时也称为 administration BCU,它分配在单个数据库分区上。该模块主要包括编目分区、协调分区以及单分区表。编目分区用来保存系统编目表,协调分区 (coordinate partition) 主要负责处理用户的请求,并根据 Partition key 将用户的请求分解成多个子任务交由不同分区并行处理,最后将不同分区的执行结果经过汇总返回给用户。系统必须要有 1 个 Foundation Module。 Data Module: 有时也称为 data BCU,它通常分配在多个数据库分区上。该模块主要保存用户生产数据。系统必须至少要有 1 个 Data Module。根据数据量,我们可以分配多个 Data Module。 User Module: 它通常作为附加的 DB2 分区协调节点用来平衡用户的连接,如果系统有
大量用户访问,我们可以考虑增加 User Module。该模块是可选的。 Failover Module: 它主要用于满足 HA 的需求,Failover Module 同 Data Module 类似,不同之处是它不包含
磁盘存储。Failover Module 一直处于 standby 状态并用来替代发生故障的 administration Module、 User Module 或 data modules 。Tivoli? Systems Automation for Multiplatforms 持续监控 DB2 资源使用情况,包括硬件及软件,并及时使用 Failover Module 接替失效的模块保证系统的高可用性。 Warehouse applications module: 它主要用来运行 InfoSphere Warehouse 数据仓库软件。Warehouse applications module 同 business intelligence module 互相配合,为 IBM Smart Analytics System. 提供数据分析能力。warehouse applications module 可以包含 1 个或 2 个节点, 其中 warehouse applications node 是必须的, warehouse OLAP node 是可选的。Warehouse applications node 包含 InfoSphere Warehouse 软件中 application server tier 中的所有组件,包括 InfoSphere Warehouse Administration Console 及 SQL Warehousing Tool (SQW) 等。如果可选的 OLAP node 没有存在,Cubing Services 也可以运行在该节点上。Warehouse OLAP node 是可选的,它主要有两个功能:在高 OLAP 使用场景下运行 Cubing Services Cube Server;提供 active-active 高可用性,该模块中的任何节点失效都可以互相接管。 Business Intelligence module:它主要用来运行 Cognos 10 Business Intelligence 软件提供报表及数据分析能力。根据使用情况,它可以包含 1 个或多个节点。
根据用户数据规模及用户访问量的不同,ISAS 提供多种型号来充分满足用户数据分析的需求并实现最优化的处理性能。如下边所示:
表 1. ISAS 解决方案
- 5710 5600 7700 9600 定位 高性价比的数据分析、报表解决方案,开箱即用,适合中小市场及部门级应用 适用于高性价比的可灵活扩展的数据分析系统,可选的 Solid State Drive –减少时间延迟 适用于可扩展至上百 TB 级数据规模环境,标准的 Solid State Drive –减少时间延迟 高级查询 / 工作负载管理系统,针对磁盘控制器优化–减少时间延迟 服务器 IBM System x3630 M3 IBM System x3650 M2 IBM POWER 740 IBM System z10 存储 IBM System Storage DS3524 IBM System Storage DS3500 IBM System Storage DS3500 IBM System Storage DS8700 操作系统 SUSE Linux Enterprise Server 11SP1 SUSE Linux Enterprise Server 10 SP3 AIX 6.1 z/OS V1.12 软件 InfoSphere Warehouse Departmental Edition,Cognos Business Intelligence InfoSphere Warehouse Enterprise Edition,Cognos Business Intelligence(Optional) InfoSphere Warehouse Enterprise Edition,Cognos Business Intelligence Reporting (Optional) DB2 for z/OS, InfoSphere Warehouse for System z,Cognos Business Intelligence Reporting (Optional) 分析能力 Cubing Services, Query and Reporting, Data Mining, Text Analytics Cubing Services, Business Intelligence, Data Mining, Text Analytics Cubing Services, Business Intelligence, Data Mining, Text Analytics Cubing Services, Business Intelligence 线性扩展性 No Yes Yes Yes 构建 , 部署 , 健康检查及解决方案支持服务 Yes,IBM 合作伙伴可以提供构建 , 部署 , 健康检查服务 Yes Yes Yes
据统计,目前的数据仓库市场,将近 65% 的数据集市或数据仓库系统现有的数据量大约在 3TB 甚至更少,为此,针对数据集市、中小型企业及公司的部门级应用,IBM 推出 ISAS5710 来满足数据分析的需求,同时又提供更高的性价比。