深入解读Oracle Exadata技术

  【IT168 技术文档】自从Oracle和HP推出Exadata之后,我就很关注这个产品,之前也写了一篇Oracle database machine介绍它。去年,Oracle和SUN合并后,推出了Oracle Exadata V2,相比较上一代产品有几个变化:第一,使用SUN的硬件;第二,宣称支持OLTP应用;第三,Oracle 11g R2提供了更多的新特性。

  Exadata Smart Flash Cache

  Exadata V2整体架构并没有太多改变,换用了SUN的硬件,除了采用intel最新的nehalem CPU以外,每台storage cell更是配置了384GB的flash,这也是为什么V2可以支持OLTP应用的关键。

  Flash cache完全是自动管理,Oracle会根据数据的访问情况,决定哪些数据放在flash cache中。所有的数据都是先被写到普通磁盘上,再根据访问情况读入flash cache的,所以如果flash card发生故障,数据不会丢失。当然,Oracle提供了方式,可以让用户手动将表或者索引pin在flash cache中。

  在自动管理的方式之外,Oracle还允许用户人工创建flash disks,和普通磁盘一样,这些flash disks通过ASM输出给数据库使用,用户可以把一些访问非常频繁的数据文件放在上面。这些flash disks不仅仅是cache了,所以ASM会在cell和cell之间做镜像。如果某块卡发生故障,那么整个storage cell上的flash disks会offline,保证数据不会丢失。

  Smart scan

  Smart scan是Exadata最重要的一个功能,它的作用就是把SQL放在每个cell上去运行,然后每个cell只返回符合条件的数据给数据库,这样就极大的降低了数据库服务器的负载和网络流量,并充分利用了cell的计算资源和IO资源。

  传统方式:所有的数据都需要返回给数据库服务器,网络带宽要求高,所有的计算在数据库服务器上完成。

  Smart scan:只返回符合条件的数据,减少网络带宽,并充分利用了cell上的计算和IO资源。

  这里有一点要注意,在使用smart scan时,每个cell返回给DB server的是结果集,而不再是传统的block,DB server完成结果集的处理,并返回给客户端。

  Smart scan如何处理join?是我一直想要搞清楚的问题。事实上,smart scan只能处理join filtering,而真正join的工作必须在DB Server上完成,而且smart scan仅适合于处理DSS环境的复杂join,对于OLTP类型的简单join,smart scan并不能发挥其优势。设想下面的查询:

  select e.ename,d.dname from emp e, dept d where and e.ename=’Jacky’ and e.deptno=d.deptno;

  假设采用nested loops join,smart scan只能完成e.ename=’Jacky’这个条件的过滤,然后将符合条件的emp表的数据返回到DB server,然后由DB Server完成join的工作,逐条查询dept表(e.deptno=d.deptno)的数据。所以smart scan并不适合nested loop join(我认为smart scan只有在适合的条件下才会启用),只有DSS环境的大数据量复杂join才会发挥出优势。而且smart scan只能完成filtering的工作,而不能真正完成join的工作,这个与Greenplum数据库是不同的(有兴趣可以看我的文章,Greenplum技术浅析)。设想下面的查询(emp和dept都是大表):

  select e.ename,d.dname from emp e, dept d where e.deptno=d.deptno;

  假设采用hash join,由于没有任何过滤条件,smart scan只能把两个表的数据全部返回到DB Server上进行join操作,不过smart scan也不是一点用都没有,至少还可以进行column的过滤,只返回需要的字段就可以了。

  Oracle的文档中,曾经提到对于一个大表和小表join时,smart scan会采用bloom filter来快速定位(可以看我以前的文章,有趣的bloom filter)。方法是把小表build成为bloom filter,然后在每个storage cell上对大表做scan,利用bloom filter快速定位符合条件的结果,并返回给DB Server作join。

  Storage index

  存储索引,顾名思义是在存储级别建立的索引,简单的说就是为表中的每一列数据建立一个索引,每个index entry记录一段数据区间的最大值,最小值以及它们的物理位置,文档上说1MB数据对应一条index entry,见下图:

  如果我们查询B<2,或者B>8的数据,根据存储索引,我们就可以跳过这些不在min和max之间的数据块,极大的提高了扫描的速度,这就是存储索引的意义。

  Hybrid Columnar Compressed

  首先我们要搞清楚,什么是行压缩,什么叫列压缩。我们熟悉的数据库,如Oracle,MySQL等都是基于行的数据库,就是行的不同字段物理上存放在一起,还有一种是基于列的数据库,就是每个字段的不同行物理上存放在一起。他们的优缺点同样突出:

  基于行的数据库,访问一行非常方便,但是由于同一列的数据是分开存放的,如果要针对某一列进行查询时,几乎要扫描整个表才能得到结果。基于行数据库的压缩,称为行压缩。

  基于列的数据库,因为同一列的数据物理上放在一起,所以访问一列非常方便,也就是说如果针对某一列进行查询时,不需要扫描整个表,只需要扫描这一列的数据就可以了,但是访问一行的全部字段非常不方便(又是废话)。基于列数据库的压缩,称为列压缩。

  Oracle通常说的compress功能(包括11g R2的Advanced compress),都是行压缩,因为Oracle是个基于行的数据库。大概的方法就是在block头部存放一个symbol table,然后将相同的值放在那里,每行上相同的数据指向symbol table,以此来达到压缩的目的。行压缩的效果通常不好,因为我们知道行与行之间,其实相同的数据并不多。但是列压缩则不同,因为相同列的数据类型相同,很容易达到很好的压缩效果。

  行压缩和列压缩都有其优缺点,而Oracle的混合列压缩技术,实际上是融合了列压缩的高压缩比和行数据库的访问特性,将两者的优点结合起来。Oracle提出了CU的概念(compress unit),在一个CU内,是一个基于列的存储方式,采用列压缩,但是一个CU内保存了行的所有字段信息,所以在CU与CU之间,Oracle还是一个基于行的数据库,访问某一行,总是只在一个CU内。每个CU由一些连续的block组成,CU header中记录了每一行的各个列在CU中的分布情况,在混合列压缩模式下,一行通常是跨多个block的。

  所以说混合列压缩,结合了列压缩和行访问的特点,即可以提供非常高的压缩率,又很好的保证了基于行类型的访问。

  Exadata的另一个重要功能是IO resource management,如果我们在一个Exadata上部署了很多个数据库,可以用它来管理IO资源,这里就不作阐述了。

  目前,我还没有了解到在国内有Exadata的应用,而且资料也是比较少的。希望有机会可以真实的测试一下它的性能,我不怀疑他在DSS环境下的表现,但是对于OLTP类型的应用,是否真的象Oracle说的那么强劲,还有待于验证。

原文地址:http://www.dbanotes.net/

时间: 2024-10-26 03:00:50

深入解读Oracle Exadata技术的相关文章

Oracle内核技术揭密

数据库技术丛书 Oracle内核技术揭密 吕海波 著 图书在版编目(CIP)数据 Oracle内核技术揭密/吕海波著. -北京:机械工业出版社,2014.7 (数据库技术丛书) ISBN 978-7-111-46931-5 I.O- II.吕- III. 关系数据库系统 IV. TP311.138 中国版本图书馆CIP数据核字(2014)第115943号 本书是首本国内作者深入剖析Oracle原理的技术书籍.虽以内部原理为主线,但又不乏很多实际的应用案例,希望读者可以将学到的原理与实际应用相结合

Oracle Exadata数据库云服务器在国内的表现

目前,Oracle Exadata数据库云服务器(Oracle Exadata Database Machine)被越来越多领先的中国企业选择用以整合其数据库平台.提高IT管理效率,同时降低IT运维成本和保护信息安全.在未来长期连续地为客户及其共同利益提供更多价值和机遇方面同样具有不可小觑的作用.甲骨文公司在中国及亚太地区业务的增长离不开Oracle Exadata数据库云服务器在大中华地区的不断成熟成长. 作为一个由数据库软件.硬件服务器和存储设备组成的软件和硬件集成式系统,Oracle Ex

神华集团采用Oracle Exadata数据库云服务器构建私有云平台

北京,2012年11月23日--神华集团责任有限公司(简称"神华集团")采用Oracle Exadata数据库云服务器(Oracle Exadata Database Machine)构建了支持其企业数据的私有云平台,并于近日成功将Oracle Siebel.SAP ECC核心系统中的全部应用迁移到Oracle Exadata数据库云平台之上.通过这一项目的实施,神华集团简化了对其数据中心的应用系统管理,提升了其核心系统.关键系统和基础系统的资源利用率,并以更低的总体拥有成本提供了更极

福建移动部署Oracle Exadata云服务器打造新一代经营分析系统

中国移动通信集团福建有限公司(简称福建移动)日前宣布,将通过部署Oracle Exadata数据库云服务器打造新一代经营分析系统(Business Analysis Support System,简称BASS系统),从而进一步支持其全方位发展的需求. 福建移动是中国移动(香港)有限公司的全资子公司,下辖9个市分公司,61个县(市)分公司.目前,福建移动已建成覆盖范围广.业务品种多.通信质量高的综合通信网络,成为经营移动通信业务.IP电话及互联网服务的专业化移动通信运营公司. 在过去十几年中,福建

甲骨文推Oracle Exadata Cloud Machine 专有云产品线进一步完善

3月2日,为了能让企业在自己的数据中心使用云,继续帮助企业简化采用云的过程,甲骨文宣布推出Oracle Exadata Cloud Machine,以进一步扩展Oracle Cloud at Customer产品组合.面对关键任务的工作负载,企业需要决定在何处部署全球最先进的数据库云,这个发布标志着甲骨文为企业提供了极致的选择与灵活性.企业现在可通过多种方式部署Oracle Exadata,包括将其作为一种云服务部署在自己的数据中心.部署在Oracle云或部署在传统的本地环境中. 企业一直希望能

oracle Exadata火线救援:10TB级数据恢复—强制拉库篇

这个库的恢复有一些历史故事([力荐]Exadata火线救援:10TB级数据修复经典案例详解!):xx运营商x2的1/4配置的oracle exadata机器,跑了近6年,最近有一个cell节点主机异常,在rebalance过程中,只有两个节点的cell其中一个节点坏了一个硬盘导致.导致asm diskgroup无法正常mount,最后该运营商运维三方通过amdu把该一体机中的数据文件全部抽出来,然后在恢复过程中出现大量错误无法解决,请求我们支持 数据库open过程报ORA-01555错误 Thu

Oracle Flashback 技术大解密

Oracle Flashback 技术大解密                                                                                                          作者:吴伟龙   Flashback 技术是以Undo segment中的内容为基础的,因此受限于UNDO_RETENTON参数.要使用flashback的特性,必须启用自动撤销管理表空间.   在Oracle 10g中, Flash back

Oracle数据库技术(38)_oracle

正在看的ORACLE教程是:Oracle数据库技术(38). 作者:未知 更新人:Finishing 来源:不详 更新时间:2004.07.06 投稿信箱: jc@ddvip.net   <

基于Oracle Exadata UPMC提升癌症研究进度

健康科学组织机构一直致力于针对一些全球性复杂疾病研究更有效的治疗方法,从而兑现其个性化医疗的承诺.以Oracle健康科学解决方案为重要基础,UPMC耗资1亿美元的医疗保健数据分析五年计划在启动数月后,便在乳腺癌领域获得重要洞察,取得显著进展. 甲骨文公司健康科学副总裁Kris Joshi表示:"UPMC等医疗保健科学组织机构如今能够全面利用广泛的临床.基因.分子和手术数据并取得重要分析成果,这是推进个性化医疗的关键所在.我们为Oracle健康科学应用及核心技术能够成为UPMC开创性的医疗保健数据