牛刀初试:智能分析系统与 Netezza 性能比拼

前言

根据市场调研分析机构 Gartner 发布的《 Data Warehousing Trends for the CIO, 2011-2012 》 1, Appliance(一体机)技术成为数据仓库 、领域未来市场热点之一。IBM 智能分析系统(Smart Analytics Systems)和 IBM Netezza 作为 IBM 主推的两大重量级 Appliance,吸引了众多市场目光。 本文首先对两大 Appliance 的架构特点进行简单的描述,然后以基准测试 TPC-H 为数据源(300GB 数据量)和测试案例(Q1-Q22)对智能分析系统和 Netezza 的 加载性能、压缩比、查询性能进行对比。读者可以通过本文对 IBM 智能分析系统 和 IBM Netezza 的性能概况进行初步了解。

智能分析系统架构

IBM 智能分析系统(以下简称 ISAS)是一系列预配置、预调优、 预集成的硬件、 软件以及服务系统,为不同的客户应用场景提供适合的 数据仓库解决方案,依据 客户具体需求集成的一体机允许客户加电即可 部署数据仓库应用。ISAS 家族中包 含了以 IBM X series 为平台的 5600 系列, 以 IBM P series 为平台的 7700 系列,以 IBM Z systems 为平台的 9600 系列。 每个系列都有不同的配置规模,客户可根据 自身需求不断扩展。

以 ISAS 7700 系列为例,配置规模分为 eXtra Small, Small, Medium, Large,  eXtra Large 等几款。ISAS 7700 系列包括 6 类模块(Module),即基础模块 (Foundation module),用户模块(User module),数据模块(Data module), 故障转移模块(Failover module),数据仓库应用模块(Warehouse  applications module)以及商业智能模块(BI module)。客户可以根据数据 规模和应用场景选择需要的模块以及模块数量。下面以 ISAS 7700 S(Small) 配置规模为例,对智能分析系统架构进行简单的描述,如下图 1 所示。

图 1. ISAS 7700 S 系统架构

在 ISAS 7700 S 配置中,数据仓库应用模块和商业智能模块是可选的,客户 可根据需要决定是否集成该模块。S 配置中,基础模块和故障转移模块是必需的, 数据模块有两个,但可根据数据量进行扩展。基础模块包含部署节点 (Management node)和数据库管理节点(Administration node), 部署节点用于部署 ISAS 集群以及后期的维护管理等任务,数据库管理节点包含 分区数据库环境的第一个数据库分区,作为 Coordinator 节点,用于存储 系统编目表、存储单分区表以及接收来自应用的各种查询。每个数据模块包含 一个数据节点(Data node)和四个 DS3524 外部存储,模块中的系统资源, 即 CPU、Memory、I/O、Network 以及外部存储设计都进行了均衡配比,从而避免 某一资源成为性能瓶颈。故障转移模块包含一个备用节点(Standby node), 备用节点通过 SAN 存储网络访问失败节点的外部存储,并接管失败节点中运行 的程序和任务。数据仓库应用模块包含数据仓库应用节点(Warehouse application node)和 OLAP 分析节点(Warehouse OLAP node)以及一个 DS3524 外部存储。数据仓库应用节点用于部署各种数据仓库应用,而 OLAP 分析节点 主要用于数据挖掘、Cubing services 等 OLAP 应用,连接的存储设备用于创建 所需的各种文件系统,两台节点互为主备。架构中的 SAN 交换机用于联结数据 仓库节点(Administration node,Data node,Standby node)和外部存储 设备,Juniper 10Gbps 以太光纤交互机用于联结集群中所有节点,主要用于 DB2 分区数据库环境中不同节点分区间(FCM)通信。

时间: 2025-01-21 01:19:35

牛刀初试:智能分析系统与 Netezza 性能比拼的相关文章

为实战而生,科达正式发布猎鹰系列智能分析系统

如何在茫茫人海中对犯罪嫌疑人进行有效排查? 如何准确分析人.车目标的去向? 如何挖掘出现有视频资源的潜在价值? -- 为解决这些问题,2016年10月26日,第十三届中国国际社会公共安全产品博览会第二天,科达于北京国际展览中心(新馆)举行"科达猎鹰,为实战而生"新品发布会,通过视频监控与智能分析技术的结合,有效提升公安实战效能,来自公安及相关行业的客户.合作伙伴以及媒体朋友近70余人见证了整个发布过程. 主持人宣布发布会开始 发布会一开始,科达总经理陈卫东先生致辞,为现场来宾们介绍研发

lua 牛刀初试

文件 MsgPro.lua local Player = require "LuaScript/Player" local createPlayer = Player.createPlayer local p = createPlayer("asas",2) print(p:getlevel()) print(p:getname()) local msg_head = {} local function main_loop() while true do peek_

前端与后端的结合带来视频智能分析的进步

 谈及智能分析,"前端好"VS"后端好"的问题总免不了被屡次提及.如果上网去搜,你会发现行业观点呈现一片倒的局面,智能前置化正在不断成为摄像机知名厂商产品研发的主要核心内容,被企业和媒体大力吹捧. 智能前置化正在不断成为摄像机知名厂商产品研发的主要核心内容,被企业和媒体大力吹捧;相反,后端平台化成为厂商们相继诟病的技术缺陷,需要进一步的技术考究而陷入尴尬局面.两者相较,究竟谁更胜一筹?要如何才能共同发挥两者的优势? 谈及智能分析,"前端好"VS&

智能分析技术发展现状

一.智能分析技术来源 智能视频分析依赖于视频算法对视频内容进行分析,通过提取视频中关键信息,进行标记或者相关处理,并形成相应事件和告警的监控方式,人们可以通过各种属性描述进行快速检索.现代社会发展越来越来快,不管是在公安.交通.文化等行业,还是在小区.楼宇等场合,海量视频分析逐渐成为困扰人们的一大难题. 2015年3月黑龙江省鸡西市发生了一起案件,当地刑侦部门动用全部警力,查看了近500T的视频,才确定受害人的行动轨迹以及相关嫌疑人的线索.面对如此大体量的数据,传统的从头到尾的观看模式显然已经不

PE资金惊现农产品期市初试牛刀斩获颇丰

"以前我们做PE.做VC,十个项目成功一两个就感到很欣慰.但这个过程得等,也很辛苦,现在发现做多农产品期货可以赚钱这么快!" 昨日,一位不愿透露姓名和公司名称的浙江投资公司负责人(下称"王先生")告诉<第一财经日报>.目前,他已经将手中的上十亿元瞄准了期货市场,并初试牛刀斩获颇丰. 王先生带领着一个投资研究团队,去年下半年,这个团队给出了进军农产品期货市场的建议.今年初,王先生开始尝试买入大豆.豆油等品种. 春节期间,王先生注意到,中国雪灾天气正在成为美

EMC推出大数据数云分析系统 实现低成本高效率工作

10月14日消息,据国外媒体报道,EMC推出了使用大规模并行处理框架的集成数据仓库系统Greenplum Data Computing Appliance. 这个定制化集成数据库.运算.存储.网络系统在EMC收购Greenplum之后出货,目的是能够实现大数据云的分析. 据该公司表示,这种分析能力对于有效分析存储.管理.快速检索和细节数据的存储空间控制都相当重要.这些数据可以是来自网络.监视系统和感应器. EMC数据计算产品分公司的高级咨询师ScottMcNealy公布了EMC产品的应用定位,作

清晰模糊图片 VICS专业视频图像处理分析系统

硅谷网讯 专业视频图像处理分析系统是国家要求公安系统必须配备的一种视频侦查装备,具有视频图像增强.比对.截取.转换.检索等视频图像处理分析功能,可以自动完成视频图像的去雾.去眩光.对比度提升和亮度调节等图像增强工作. 公安机关必须配备专业视频图像处理分析系统 随着视频监控技术的不断发展,视频监控在智慧城市.数字城市.平安园区等各类项目得以广泛应用,监控视频已经成为公安部门案件侦查的重要依据和线索,视频侦查已逐步成为继刑侦,技侦,网侦之后的第四大侦查手段.然而,由于缺乏有效的信息技术支撑,公安视频

阿里云智能视觉首席研究员华先胜:视觉大数据智能分析、识别和搜索

What's Happening 从智能交通到教室监控再到视频直播等等场景,生活中每天都在产生海量的图像/视频数据.在这些场景中,对图像/视频数据进行智能分析.挖掘其中的内容以及对其中的事件进行实时的分析并非易事. 图一 视觉智能  视觉智能发展朝向两个方向:云上智能和端上智能.云上的智能是指复杂的计算是在云上完成:端上智能则是在终端完成的,例如手机或摄像机本身自带的计算能力.自动驾驶等等. 云上智能除了单体的智能之外,还存在着整体的智能,也就是说也可以把大量数据放在一起进行计算.分析,然后挖掘

中国人工智能学会通讯——机器人组件技术在智能制造系统中的应用

摘要:随着工业4.0时代的到来,如何将传统工厂改造成为个性化.网络化.柔性生产的智能制造系统成为了当前的研究热点.本文从智能制造系统和智能机器人系统的相似性出发,构建了基于机器人组件技术的智能制造系统,对智能制造系统中各个生产单元进行组件化技术封装,实现了生产组件之间的信息互联和即插即用,通过个性化订单要求对各生产组件在线任务规划,达到柔性生产的目标.此外用多异构机器人模拟各工位生产单位搭建了一个可以根据用户订单生产的小型智能制造实验平台,实验结果验证了本研究构建系统的可行性. 关键词:机器人组