Sybase IQ数据仓库领域革命性产品

Sybase的数据仓库方法从根本上就不同于其他的关系型数据库提供商。Sybase认为,传统的关系型方法以及ROLAP方法效率很低,要想获得足够的性能,必须通过高额的成本,在额外的硬件、软件、资源、钱、时间上进行大量投资,否则不可能达到。因此,Sybase已经开发了一个新的逆向关系型数据库——它是基于列的,而非基于行的。

Sybase IQ与传统数据库在数据压缩方面的典型对比

我们开始审视Sybase IQ时发现,Sybase对其使用列方法的好处所做的论述相当令人信服。然而,通过对数据仓库不断增加需求、迅猛增长的来自Web的数据与用户所带来的分析和报表(更不必提即将到来的RFID应用),以及客户的经验等等,我们现在可以证明,Sybase IQ提供了一个远比那些传统的关系型数据库供应商更优越的方法。下面,就让我们一起看看Sybase IQ在列存储、数据压缩、索引等技术方面的革命性创举。

列存储

不同于传统的关系型数据库其数据在表中是按行存储的,Sybase IQ是通过表中的列来存储与访问数据的。尽管这种方式很明显的不太适合于交易环境,在交易环境中,一个事务与一行数据有效对应,而在查询进程环境中,很显然,查询是基于特定的列来选择的。

列方式所带来的重要好处之一就是,由于查询中的选择规则是通过列来定义的,因此整个数据库是自动索引化的。事实上,情况并不像上述的这样简单,Sybase IQ有各种方法支持基于列的索引,我们将在下面就此讨论。

使用列方法的另一个结果就是,Sybase IQ在压缩方面比传统的关系型数据库更加有效(据Sybase所称,效果可提高5倍之多)。这个原因,无消说,是由于同一列中的所有数据域有相同的数据类型。因此,每一列都可以为优化的效率与检索进行压缩。相比来讲,基于行的存储,各个不同的域拥有各不相同的数据类型,这非常适合于交易进程。在这样的环境中,不断变换理想的压缩算法是不可行的,这意味着任何压缩都将可能是一种最低通用的规则。

基于列的方法的另一个重要优势是完全基于所有读出的数据量。无论何时你从传统的数据库中访问数据,需要读出完整的每一行,而不管你实际所感兴趣的是哪些域。实际上,这可能意味着读300个字节的数据仅仅检索20个字符的数据。但是,基于列来读取数据,你仅仅需要读出你想要了解的数据。当然,读取一条单独的记录时,性能上的不同可以忽略,但是许多查询需要进行全表扫描。当读取数百万行数据时,性能的不同就会非常显著。

Sybase认为,Sybase IQ的列存储天然地比普通的ROLAP方法提供更佳的性能,IQ不需要像多数竞争对手或者Sybase Adaptive Server Enterprise(ASE)一样支持硬件的并行处理。尤其是,Sybase指出,与数据分区相关的问题就是需要支持硬件的并行机制。显而易见,不论如何进行分区,分区都会带来很多问题(更不必说额外的维护了),不过,它打开了性能改进的实质性途径。然而,Sybase进一步阐述道,这仅仅是对基于行的方法所与生俱来的糟糕性能的一种补偿机制。

Sybase有很多事实支持它的论断,但这并不意味着Sybase避免任何形式的数据分区。然而,不同于水平分区,Sybase IQ实施的是垂直分区,也就是说,分区是按照列而不是按照行进行的。该方法的优势之一是分区从来不会变得不均衡,这是由于每个表中的每列都有相同数量的域。这大大降低了管理分区的维护需求,同时消除了数据库的重新组织,而在分区变得不均衡从而开始影响性能的时候,数据库重新组织是必需进行的。

最后,需要注意的是,Sybase IQ并没有避免使用OLAP。对于那些希望在聚合层次下以一个相对预先定义的方式进行查询的用户来讲,OLAP具有明显的优势。基于此,Sybase 支持OLAP功能属性如排列、百分比、平均。

数据压缩

传统的数据库引擎不能以一种通用的方式进行数据压缩,主要是由于存在以下三个问题:

1. 按行存储的数据存储方式不利于压缩。这是因为数据(大多为二进制数据)在以这种方式存储时重复并不多。我们发现,按行存储的数据,最多能有5%~10%的压缩比例。

2. 对于许多2KB和4KB的二进制数据页来说,为压缩和解压缩而增加的开销太大;

3. 在OLTP 环境中,大量读取和更新混杂在一起。每一次更新需要进行压缩操作,而读取只需解压缩操作,大多数的数据压缩算法在压缩时比解压缩时慢4倍。这一开销将明显降低OLTP 数据库引擎的事务处理效率而使得数据压缩的代价昂贵到几乎不能忍受。

在数据仓库应用中,数据压缩可以用小得多的代价换取更大好处。其中包括减少对于存储量的要求;增大数据吞吐量,这相当于减少查询响应时间。

Sybase IQ 使用了数据压缩。这是由于数据按列存储,相邻接的字段值具有相同的数据类型,其二进制值的范围通常也要小得多,所以压缩更容易,压缩比更高。Sybase IQ 对按列存储的数据通常能得到大于50%的压缩。更大的压缩比例,加上大页面I/O,使得Sybase IQ在获得查询的优良性能的同时,减少了对于存储空间的需求。

在传统的数据库中,为提高查询性能所建的索引占用的磁盘空间往往需要比数据本身需要的磁盘空间多出3-10倍。而Sybase IQ 存储数据所占用的磁盘空间通常只是原数据文件的40%-60%,是传统数据库所占用空间的几分之一。

智能压缩技术,与精巧的索引结构和列存储结合,给了IQ 比其他数据库引擎高得多的存储效果。这将获得更低的存储成本与更高的性能(因为系统仅需很少的磁盘I/O读取或写入任何给定的数据库块)。

时间: 2024-09-28 10:51:19

Sybase IQ数据仓库领域革命性产品的相关文章

Sybase IQ助威信泰克建营销支持系统

项目背景 怎样建立完备的营销体系?怎样进行精细化营销?是企业决策层及企业营销人员面临的问题,也是企业步入3G时代必须要面临的问题. 企业的业务流程和服务过程应该真正体现以客户的价值取向和消费心理为导向,为客户提供及时准确高质量服务,同时还要保证企业的盈利增长.本系统的建立就是要通过对业务分析.客户行为分析.企业已有的关键数据及其变化趋势分析,为企业描述客户的价值取向.消费心理以及企业可能的盈利增长模式,为企业决策层能定制更好的营销策略提供确实可靠的依据与保障. 建设数据业务的营销支持系统,将带给

专访卢东明:Sybase IQ专注大数据分析

本文讲的是专访卢东明:Sybase IQ专注大数据分析,常常听到这样一句话:关系型数据库不适合做数据分析.Sybase中国技术总监卢东明对这一观点做出了明确的回应:Sybase IQ是个例外.Sybase IQ之所以能够在数据分析领域占得先机,源于它独特的列式存储结构.相比于传统的行式关系型数据库,Sybase IQ对商业信息的访问速度能达到百倍甚至千倍. 近几年,大数据日渐火爆,数据呈现非结构化趋势,据Gartner统计,数据中有80%是半结构化或非结构化数据.因此,如何应对大数据的新挑战成为

了解Sybase IQ服务剑桥天文观测台

作为剑桥大学天文学院的组成部分,剑桥天文观测台需要编目多年的观测数据以便天文学家能够有效地搜索和查询信息.使用Sybase 技术,全世界研究人员现在只需几分钟而不是几周时间便可找到重要的研究信息. 主要收益 把数据响应时间从几周缩短到几分钟 使天文学家能够瞄准研究目标,节省宝贵的时间 将每月维护时间由三天减至一天 应用Sybase产品:Sybase IQ行业 教育 支持全球范围的研究 今天的大范围数字观测产生了大量数据.剑桥天文观 测台(CASU) 自动处理并存档这些遗留数据,这样不仅该 台的人

Sybase IQ商业智能利器

概述 商业智能(Business Intelligence,BI)系统使组织能够通过利用客户.供应商以及内部业务操作的有关信息来提高商业性能.BI 系统的最终目标是使用户能够消费大量有关数据,对其进行分析从而使企业有机会增加收入或者节省成本. BI应用已经广泛存在于各个行业,比如电信行业为获得和留住客户而使用的呼叫行为分析,拥塞分析,服务使用分析,经营分析等等;金融行业在风险管理方面采用的信用风险分析,货币风险分析,资产与负债管理等;以及可以用于所有行业的损益P&L 分析,欺诈监测,技术性能分析

3D技术已经成为视觉领域革命性的突破,正在走入日常生活的各个维度

目前,3D技术已经成为视觉领域革命性的突破,正在走入日常生活的各个维度.从电影播放到电视传播,3D技术蔚然成为人们影视生活的时尚选择.据ZDC最新数据显示,截至2012年5月,3D电视的市场关注度已超过四成,正逐渐成为用户的主流选择. 在电视领域,目前应用中的3D电视技术主要分快门式3D技术和不闪式3D技术.和快门式3D技术主要依靠眼镜成像不同,不闪式3D技术更多地利用液晶面板本身成像有效解决了第一代快门式3D技术存在的画面闪烁.重影.左右眼信号串扰等问题,在画面效果和观看品质上有了很大提升.

母婴领域科技产品如何做营销?你需要注意这些

为女人挑衣服并不是件容易的事情,而为一位身体状况每天都在发生变化的孕妇挑选衣服更是难上加难.做母婴领域科技产品是一件极具有挑战性的事情.新爸爸.新妈妈们每天忙于照顾孩子,说服他们购买你的智能设备并不轻松. 最近,Re/code作者Katherine Boehret对美国一系列母婴产品进行了调查,得出一些在这个领域进行营销的经验,与大家分享: 父母们愿意购买大品牌.高价格的产品以求放心 刚当爸妈的人,在孩子身上花钱是毫不含糊的.他们愿意花更多的钱,以确保产品的安全,自己也能更放心.现在市场上有一些

谷歌眼镜评测:真正的革命性产品

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 谷歌眼镜是谷歌最具野心的 革命性产品,是进入谷歌世界的入口. 很久没有如此望眼欲穿地期待一款新产品了.拿到真品之后,那种震撼的感觉,让我回想起很多年前第一次使用电脑.手机或数码相机的样子.是的,谷歌眼镜就是这样一款划时代的革命性产品.虽然还存在着一些缺憾,但在初步试用的几个小时内,那种从未有过的体验已经足够让我兴奋不已. 这是一款怎样的设备?谷歌眼镜是谷歌最神秘部门

搜狗智能输入环:Typany 输入法革命性产品

今天是愚人节,可是搜狗输入法团队在这个应该愚人的时刻给了我们一个巨大的惊喜,他们推出了Typany,一款专注于打字的智能输入环.它通过低功耗的蓝牙4.0技术,跟所有拥有蓝牙的智能终端都能进行连接,无论手机平板还是智能电视,通通可以通过蓝牙连接,进行输入,内置了 传感器可以感知人的输入位置,从而精确定位到了输入的字母,采用了人体工程学的原理,对双手打字时产生的位移进行判断,从而做到精确的定位,与此同时,他们在搜狗输入法大数据分析结果和云数据输入的基础上,利用拼音组合的既定规律,建立了智能匹配系统,

两会互联网金融:安防等领域未来产品业绩值得期待

两会互联网金融:安防等领域未来产品业绩值得期待.在李克强总理的政府工作报告中,提到要"当前系统性风险总体可控,但对不良资产.债券违约.影子银行.互联网金融等累积风险要高度警惕."自去年两会提出要规范发展互联网金融,一系列的监管细则逐一落地,整改清查行动也在稳步进行.但前期积累的泡沫及风险还未完全消化,随着整改行动的继续进行,行业洗牌也将持续,整改行动的彻底完成才能使得互金行业真正消化累计风险.进入规范健康发展. 同时,两会政府工作报告首次提出人工智能:"全面实施战略性新兴产业