Oracle优化器:星型转换(Star Query Transformation )

 Oracle优化器:星型转换(Star Query Transformation ) 



Star query是一个事实表(fact table)和一些维度表(dimension)的join。每个维度表都跟事实表通过主外键join,且每个维度表之间不join。

星型模式设计的好处:


1) 提供了直接、直观的业务实体与终端用户schema设计的映射。

2) 对典型的star query提供了高性能的优化。

3) 通过大量的商业智能工具的广泛支持,可能会期望甚至要求数据仓库架构包含维度表。


星型模式是用于简单的数据集市和大型数据仓库。


 

 

雪花状模式(snowflake schema):


Snowflake schema是star schema的一种,但更复杂。它的维度数据被分到多个表而不是一个大表。更多的维度表,更多的外键joins,使查询更复杂,查询性能下降。


Oracle建议使用star schema替代snowflake schema,除非你有别的原因。


 

 

优化Star Query


1) 在fact table的每个外键列上建立bitmap index。

2) 初始化参数STAR_TRANSFORMATION_ENABLED 应被设为TRUE,默认false。


星型转换(Star transformation)能为star query提供高效的查询性能。

 

 

 


合适的情况下,Oracle会自动选择star transformation技术,隐视重写star query SQL,提高star query效率。

 


星型查询2个基本步骤:

1) 从fact table中检索出必要的结果集。(bitmap index会提高效率)

2) 结果集与维度表joins。

 

 

星型转换(bitmap index)


通过bitmap AND操作将3个维度表bitmaps为一个单独的bitmap,然后与fact table通过bitmap indexes逻辑JOIN。


SELECT ch.channel_class,

       c.cust_city,

       t.calendar_quarter_desc,

       SUM(s.amount_sold) sales_amount

  FROM sales s, times t, customers c, channels ch

 WHERE s.time_id = t.time_id

   AND s.cust_id = c.cust_id

   AND s.channel_id = ch.channel_id

   AND c.cust_state_province = 'CA'

   AND ch.channel_desc in ('Internet', 'Catalog')

   AND t.calendar_quarter_desc IN ('1999-01', '1999-02')

 GROUP BY ch.channel_class, c.cust_city, t.calendar_quarter_desc;

 

 

星型转换(a Bitmap Join Index)


--建一个bitmap join index

CREATE BITMAP INDEX sales_c_state_bjix ON sales(customers.cust_state_province)

FROM sales, customers

WHERE sales.cust_id = customers.cust_id

LOCAL NOLOGGING COMPUTE STATISTICS;


即使用bitmap join index代替与表customer的bitmap join。

 

 

星型转换的限制


1、 下面的情况不支持星型转换

?  查询中使用hint

?  查询包含绑定变量

?  Fact table上的bitmap indexes太少

?  远程fact tables

?  Anti-joined tables

?  Fact table是一个unmerged view

?  Fact table是一个partitioned view

 

2、 优化器不选择star transformation的情况

?  表有一个好的单表访问路径

?  表太小不值得转换

 

3、临时表在下面情况下不适用star transformation

?  数据库read-only模式

?  Star query是串行事务的一部分

 



优化星型查询 

当你使用星型查询时,你需要考虑以下两点:

  1. 调整星型查询
  2. 使用星型转换

调整星型查询
为了获得星型查询的最佳性能,遵循一些基本准则是非常重要的:

  • 应该为事实表的每一个外键列都创建位图索引。
  • 初始化参数STAR_TRANSFORMATION_ENABLED应设置为TRUE。这将开启对星型查询的 重要优化功能。为了向下兼容,它在默认情况下设置为FALSE。

当一个数据仓库满足这些条件,在数据仓库中运行的大多数星型查询将会使用被称为星形转换的查询执行策略。星型转换为星型查询提供了非常高效的查询性能。

使用星型转换

星型转换是依靠隐式重写(或转换)原始星型查询SQL的强大优化技术。最终用户不需要知道任何关于星形转换的细节。 Oracle数据库的查询优化器会在合适的地方自动选择星型转换。

星型转换是一个查询转换,旨在高效执行星型查询。 Oracle数据库使用两个基本阶段来处理星型查询。第一阶段是从事实表(结果集)精确地检索出必要的行。由于这种检索使用了位图索引,因此是非常高效的。第二阶段是将一阶段查到的结果集与维度表相结合。最终用户查询的一个例子是:“在西部和西南部地区的销售门店的最后三个季度,食品部门的销售额和利润是多少?”这是一个简单的星型查询。

使用位图索引的星型转换
星型转换的一个前提条件,即在事实表的每一个连接列上都有一个单列位图索引。这些连接列包括所有的外键列。
例如,sh示例模式下的sales表,分别在TIME_ID,CHANNEL_ID,CUST_ID,PROD_ID和promo_id列上建有位图索引。
考虑下面的星型查询:

点击(此处)折叠或打开

  1. SELECT ch.channel_class, c.cust_city, t.calendar_quarter_desc,
  2.    SUM(s.amount_sold) sales_amount
  3. FROM sales s, times t, customers c, channels ch
  4. WHERE s.time_id = t.time_id
  5. AND s.cust_id = c.cust_id
  6. AND s.channel_id = ch.channel_id
  7. AND c.cust_state_province = \'CA\'
  8. AND ch.channel_desc in (\'Internet\',\'Catalog\')
  9. AND t.calendar_quarter_desc IN (\'1999-Q1\',\'1999-Q2\')
  10. GROUP BY ch.channel_class, c.cust_city, t.calendar_quarter_desc;

该查询分两个阶段进行处理。在第一阶段,Oracle数据库使用事实表外键列的位图索引从事实表中找出并检索出必要的行。也就是说,Oracle数据库从事实表中检索结果集,从本质上是使用下面的查询:

点击(此处)折叠或打开

  1. SELECT ... FROM sales
  2. WHERE time_id IN
  3.   (SELECT time_id FROM times 
  4.    WHERE calendar_quarter_desc IN(\'1999-Q1\',\'1999-Q2\'))
  5.    AND cust_id IN
  6.   (SELECT cust_id FROM customers WHERE cust_state_province=\'CA\')
  7.    AND channel_id IN
  8.   (SELECT channel_id FROM channels WHERE channel_desc IN(\'Internet\',\'Catalog\'));

这是该算法的转换步骤,因为原始星型查询已被改造成子查询表示方式。访问事实表的这种方法利用了位图索引的优势。直观地说,在关系数据库中位图索引提供了基于集合的处理方案。 Oracle实现了非常快速的方法去处理集合操作,如AND(交集),OR(并集),MINUS和COUNT。

在这个星形查询中,TIME_ID位图索引用于标识事实表中销售时间在1999年-Q1所有行的集合。这个集合被表示为位图(一个由1和0组成的字符串,用来表示事实表中的哪些行属于该集合)。

一个类似的位图检索对应sales事实表中1999年第二季度的的所有行。该位图的或操作用于合并Q1销售结果集与Q2销售结果集。

另外还将在客户维度,产品维度来完成集合操作。在星型查询处理的这一点上,有三个位图。每个位图对应于一个单独的维度表,并且每个位图代表了事实表中满足单独维度约束的行的集合。

这三个位图通过AND操作被合并成一个单独的位图。这个最终的位图表示了事实表中满足所有维度约束的行集合。这就是结果集,从评估查询所需的事实表行的确切集合。请注意,没有任何事实表中的实际数据被访问。所有这些操作完全依赖位图索引和维度表。因为位图索引的压缩数据表示,位图集合操作是非常高效的。

一旦确认了结果集,可以通过位图来访问sales表的实际数据。从事实表中仅仅检索需要的数据。在这一点上,Oracle数据库,有效地将所有维度表和事实表结合了起来。这种技术提供了优异的性能,因为Oracle数据库使用了一个逻辑的连接操作将所有维度表和事实表连接恰里,而不是将每个维度表与事实表分别进行连接。。

该查询的第二阶段是将事实表中的行(结果集)与维度表连接在一起。 Oracle使用最有效的方法来访问和连接维度表。许多维度表非常小,并且全表扫描通常是针对这些维度表的最有效的访问方法。对于大尺寸的表,全表扫描可能不是最有效的访问方法。在前面的例子中, product.department列的位图索引可以用来快速识别在食品部门的所有产品。基于优化程序对每个维度表的大小和数据分布的判断,Oracle数据库的优化器会针对给定的维度表来自动确定哪种访问方法是最适合的。

对于每个维度表而言,具体连接方法(以及索引方法)同样将被优化器智能地确定。哈希连接往往是连接维度表最有效的算法。一旦连接了所有的维度表,最终的结果将返回到用户。从一个表中检索出匹配行,然后连接到另一个表的查询技术通常被称为半连接。

使用位图索引星型转换的执行计划
下面这个典型的执行计划是由带位图索引的星型转换生成的:

点击(此处)折叠或打开

  1. SELECT STATEMENT
  2.  SORT GROUP BY
  3.   HASH JOIN
  4.    TABLE ACCESS FULL CHANNELS
  5.    HASH JOIN
  6.     TABLE ACCESS FULL CUSTOMERS
  7.     HASH JOIN
  8.      TABLE ACCESS FULL TIMES
  9.      PARTITION RANGE ITERATOR
  10.       TABLE ACCESS BY LOCAL INDEX ROWID SALES
  11.        BITMAP CONVERSION TO ROWIDS
  12.         BITMAP AND
  13.          BITMAP MERGE
  14.           BITMAP KEY ITERATION
  15.            BUFFER SORT
  16.             TABLE ACCESS FULL CUSTOMERS
  17.            BITMAP INDEX RANGE SCAN SALES_CUST_BIX
  18.          BITMAP MERGE
  19.           BITMAP KEY ITERATION
  20.            BUFFER SORT
  21.             TABLE ACCESS FULL CHANNELS
  22.            BITMAP INDEX RANGE SCAN SALES_CHANNEL_BIX
  23.          BITMAP MERGE
  24.           BITMAP KEY ITERATION
  25.            BUFFER SORT
  26.             TABLE ACCESS FULL TIMES
  27.            BITMAP INDEX RANGE SCAN SALES_TIME_BIX

在这个计划中,是通过一个由三个位图合并而来的位图访问路径来访问事实表。这三个位图是BITMAP MERGE根据行资源树的位图生成的。每个这样的行资源树是从子查询行资源树的位图键迭代行源组成,在这个例子是一个全表扫描。对于每一个这样的值,位图键迭代行源从位图索引中检索位图。在相应的事实表行通过这种访问路径被检索到以后,它们与维度表及临时表合并产生的查询结果。

 

使用位图连接索引的星型转换

除了位图索引,您可以在星型转换中使用位图连接索引。假设你有以下附加索引结构:

 

点击(此处)折叠或打开

  1. CREATE BITMAP INDEX sales_c_state_bjix
  2. ON sales(customers.cust_state_province)
  3. FROM sales, customers
  4. WHERE sales.cust_id = customers.cust_id
  5. LOCAL NOLOGGING COMPUTE STATISTICS;

使用位图连接索引的星型查询和之前的例子非常相似,唯一的区别是在星型查询的第一阶段,Oracle利用连接索引,而不是一个单表位图索引,去访问顾客数据。

 

使用位连接图索引星型转换的执行计划
下面这个典型的执行计划是由带位连接图索引的星型转换生成的:

点击(此处)折叠或打开

  1. SELECT STATEMENT
  2.  SORT GROUP BY
  3.   HASH JOIN
  4.    TABLE ACCESS FULL CHANNELS
  5.    HASH JOIN
  6.     TABLE ACCESS FULL CUSTOMERS
  7.     HASH JOIN
  8.      TABLE ACCESS FULL TIMES
  9.      PARTITION RANGE ALL
  10.       TABLE ACCESS BY LOCAL INDEX ROWID SALES
  11.        BITMAP CONVERSION TO ROWIDS
  12.         BITMAP AND
  13.          BITMAP INDEX SINGLE VALUE SALES_C_STATE_BJIX
  14.          BITMAP MERGE
  15.           BITMAP KEY ITERATION
  16.            BUFFER SORT
  17.             TABLE ACCESS FULL CHANNELS
  18.            BITMAP INDEX RANGE SCAN SALES_CHANNEL_BIX
  19.          BITMAP MERGE
  20.           BITMAP KEY ITERATION
  21.            BUFFER SORT
  22.             TABLE ACCESS FULL TIMES
  23.            BITMAP INDEX RANGE SCAN SALES_TIME_BIX

这个执行计划和前面相比,区别在于使用位图索引扫描顾客维度的那一部分没有子查询。这是因为在customer.cust_state_province的连接述语信息已经满足了位图连接索引sales_c_state_bjix。

Oracle如何选择使用星型转换

优化器可以生成并保存一个未经转换的最优执行计划。如果星型转换被启用,优化器将尝试将其应用到查询;如果适用,则产生一个使用转换查询的最优执行计划。基于这两个版本的执行计划,优化器通过比较二者的成本估算,然后决定使用经过转换的最优执行计划或者是未经转换的版本。

 

如果查询需要访问事实表中的大部分行,最好使用全表扫描,而不是使用星型转换查询。但是,如果维度表的约束谓词具有充分的可选性,也就是说只会从事实表中检索很小一部分数据,那么基于转换的执行计划很有可能会更好。

 

需要注意的是,优化器会根据许多标准判断,在它任务合理的情况下才会根据维度表生成子查询。Oracle优化器并不保证为所有维度表生成子查询。基于表和查询的特性,优化器还可以决定该转换是否值得被应用到特定查询中。在这种情况下,优化器将会使用最优计划。

 

使用星型转换的限制条件

具有任何以下特征的表均不支持星型转换:

?查询使用了与位图访问路径不兼容的表提示(hint)

?查询包含绑定变量

?表没有位图索引。事实表的列必须有位图索引,优化器才能创建子查询。

?远程事实表。然而,子查询中允许使用远程维度表。

?反连接的表

?已经在子查询中用作维度表的表

?表是unmerged视图,并且不是分区视图

?事实表是unmerged视图

?事实表是分区视图

在以下场景优化器可能不会选择星型转换:

?表具有良好的单表访问路径

?表太小,不值得进行转换

 

此外,在下列条件下星型转换不使用临时表:

?数据库处于只读模式

?星型查询是串行化事务的一部分



Oracle优化器:星型转换

2010/12/27 BY MACLEAN LIU 1 COMMENT

>>>>
>>>>>>
>>

   

>>


 

 

  

  1. >    
  2.     
  3. >      
  4.   
  5.                       
  6.     
  7.            
  8.                  
  9.                     
  10.                 
  11.                 
  12.              
  13.             
  14.             
  15.             
  16.             
  17.              
  18.   
  19.                       
  20.     
  21.                  
  22.                   
  23.                
  24.                     
  25.            
  26.        
  27.                     

  

  1. >     
  2.   
  3.                            
  4.     
  5.           

  

  1. >   
  2.        
  3.       
  4.        
  5.            
  6.        
  7.        
  8.          
  9.        
  10.         
  11.         
  12.        
  13. >   
  14.   
  15.                  
  16.     
  17.                      
  18.                         
  19.                        
  20.                           
  21.                         
  22.                           
  23.                       
  24.                       
  25.                          
  26.                     
  27.                           
  28.   
  29.                  
  30.     
  31.                       
  32.                         
  33.                        
  34.                       
  35.                      
  36.                    
  37.                        
  38.                      
  39.                       
  40.                     
  41.                        
  42.   
  43.                  
  44.     
  45.                         
  46.                           
  47.   
  48.   
  49.   
  50.   
  51.   
  52.   
  53.      
  54.   
  55.   
  56.                                            
  57.   
  58.                                                       
  59.                                                           
  60.                                                         
  61.                                                     
  62.                                                           
  63.                                                            
  64.                                                        
  65.                                                             
  66.                                                             
  67.                                                      
  68.                                   
  69.                                            
  70.   
  71.   
  72.        
  73.   
  74.   
  75.        
  76.           
  77.             
  78.          
  79.         
  80.        
  81.   
  82.   
  83.   
  84.   
  85.            
  86.             
  87.             
  88.             
  89.            
  90.                 
  91.              
  92.              
  93.            
  94.            
  95.           
  96.   
  97. >      
  98.   
  99.     
  100.   
  101.       

  

  1. >      
  2.   
  3. >      

  

  1. >    
  2.       
  3.        
  4.            
  5.        
  6.        
  7.          
  8.        
  9.         
  10.         
  11.         
  12.   
  13.                  
  14.     
  15.                      
  16.                         
  17.                        
  18.                           
  19.                         
  20.                           
  21.                       
  22.                       
  23.                          
  24.                     
  25.                           
  26.   
  27.                  
  28.     
  29.                       
  30.                         
  31.                        
  32.                       
  33.                      
  34.                    
  35.                        
  36.                      
  37.                       
  38.                     
  39.                        
  40.   
  41.                  
  42.     
  43.                         
  44.                           
  45.   
  46.   
  47.   
  48.   
  49.   
  50.   
  51.      
  52.   
  53.   
  54.                                                    
  55.   
  56.                                                                   
  57.                                                                                 
  58.                                                                       
  59.                                                                  
  60.                                                                       
  61.                                                                         
  62.                                                                          
  63.                                                                   
  64.                                                                 
  65.                                                                       
  66.                                                       
  67.                                                               
  68.                                                                                      
  69.                                                                                        
  70.                                                                                     
  71.                                                                                         
  72.                                                                        
  73.                                                           
  74.                                                                                        
  75.                                                                                     
  76.                                                                                         
  77.                                                                  
  78.                                                          
  79.                                                                                        
  80.                                                                                     
  81.                                                                                         
  82.                                                        
  83.                                                          
  84.                                                          
  85.                                                        
  86.   
  87.   
  88.        
  89.   
  90.   
  91.        
  92.        
  93.        
  94.           
  95.             
  96.        
  97.       
  98.          
  99.             
  100.       
  101.       
  102.   
  103.   
  104.   
  105.            
  106.   
  107.   
  108.   
  109.   
  110.          
  111.            
  112.            
  113.             
  114.          
  115.                 
  116.              
  117.              
  118.            
  119.            
  120.           

  

  1.     
  2.      
  3.      
  4.     
  5.      
  6.      
  7.      
  8.    
  9.       
  10.       
  11.       
  12.     
  13.    
  14.       
  15.       
  16.      
  17.     
  18.    
  19.       
  20.       
  21.      
  22.         
  23.         
  24.     
  25.                   
  26.                   
  27.                
  28.       
  29.              
  30.    
  31.      
  32.      
  33.     
  34.     

  1.  

  

  1.     
  2.      
  3.      
  4.   
  5.     
  6.             
  7.        
  8.        
  9.        
  10.       
  11.        
  12.        
  13.      
  14.       
  15.                  
  16.          
  17.         
  18.       
  19.      
  20.       
  21.           
  22.          
  23.         
  24.         
  25.       
  26.      
  27.       
  28.           
  29.          
  30.         
  31.        
  32.           
  33.           
  34.       
  35.      
  36.      
  37.      
  38.     
  39.       
  40.    
  41.      
  42.      
  43.     
  44.     


&

           

时间: 2024-10-24 23:08:18

Oracle优化器:星型转换(Star Query Transformation )的相关文章

数据仓库优化中什么是星型转换(Star Transformation)?

转载:http://www.anysql.net/oracle/olap_tuning_startransformation.html 在数据仓库中经常查询的SQL总带有下列特征: 几个表进行关联 只有一个数据量巨大的表, 称为事实表 其他的都是编码表, 称为维表 维表和事实表之间有主外键关系 假设有D1(key1),D2(key2),D3(key3),D4(key)四个小的维表和一个事实表F(key1,key2,key3,key4), 那么经常进行的查询将是: SELECT D1.xxx, D

ORACLE优化器RBO与CBO介绍总结

RBO和CBO的基本概念   Oracle数据库中的优化器又叫查询优化器(Query Optimizer).它是SQL分析和执行的优化工具,它负责生成.制定SQL的执行计划.Oracle的优化器有两种,基于规则的优化器(RBO)与基于代价的优化器(CBO)          RBO: Rule-Based Optimization 基于规则的优化器          CBO: Cost-Based Optimization 基于代价的优化器 RBO 自ORACLE 6以来被采用,一直沿用至ORA

ORACLE优化器

oracle|优化 ORACLE的优化器共有3种: a. RULE (基于规则) b. COST (基于成本) c. CHOOSE (选择性) 设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如RULE,COST,CHOOSE,ALL_ROWS,FIRST_ROWS . 你当然也在SQL句级或是会话(session)级对其进行覆盖. 为了使用基于成本的优化器(CBO, Cost-Based Optimizer) , 你必须经常运行analyze 命令

【云和恩墨大讲堂】从执行计划洞察ORACLE优化器的“小聪明”

作者简介黄浩  惠普 十年一剑,十年磨砺.3年通信行业,写就近3万条SQL:5年制造行业,遨游在ETL的浪潮:2年性能优化,厚积薄发自成一家 主题介绍: Oracle执行计划的另类解读:调皮的执行计划 | 诚实的执行计划 | 朴实的执行计划 说到执行计划,oracle的拥趸们自然而然会兴奋起来.在ORACLE的世界里,执行计划有着其特殊的地位,如果我们将SQL性能优化看成一个生物,那某种程度上,执行计划就是DNA.在某搜索网站中,"oracle 执行计划"关键字的搜索结果与"

如何选择Oracle优化器

1. 选用适合的Oracle优化器 Oracle的优化器共有3种: a. RULE (基于规则) b. COST (基于成本) c. CHOOSE (选择性). 设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如RULE,COST,CHOOSE,ALL_ROWS,FIRST_ROWS .你当然也在SQL句级或是会话(session)级对其进行覆盖. 为了使用基于成本的优化器(CBO, Cost-Based Optimizer) , 你必须经常运行an

如何选择Oracle优化器使你事半功倍

  1. 选用适合的Oracle优化器 Oracle的优化器共有3种: a. RULE (基于规则) b. COST (基于成本) c. CHOOSE (选择性). 设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如RULE,COST,CHOOSE,ALL_ROWS,FIRST_ROWS .你当然也在SQL句级或是会话(session)级对其进行覆盖. 为了使用基于成本的优化器(CBO, Cost-Based Optimizer) , 你必须经常运行

Oracle优化器的optimizer_mode参数

optimizer_mode参数   optimizer_mode是oracle 11g的一个优化器参数,在某些时候可以影响优化器的行为,是个不可忽视的细节参数. SQL> show parameter optimizer; optimizer_capture_sql_plan_baselines boolean FALSE optimizer_dynamic_sampling integer 2optimizer_features_enable string 11.2.0.4 optimize

【DBAplus】深入Oracle优化器:一条诡异执行计划的解决之道

深入Oracle优化器:一条诡异执行计划的解决之道 DBAplus社群 | 2016-05-05 19:51 CBO计算成本并选择最佳执行计划的至关重要输入物就是表和索引的统计信息,过旧或错误的统计信息则可能导致一个性能极差的执行计划被错误地选中.本文将以一个案例展示诡异的统计信息如何影响执行计划的生成. 1案例介绍 这是一个简单的sql,近两个月来对于告警明细表(分区)做月度汇总查询时,总是出现了异常缓慢的情况. 测试SQL: 字段NEALARM_TIME是固定条件,字段RELATED_EMS

Oracle优化器的两种优化方式

Oracle的优化器有两种优化方式: 基于规则的优化方式:Rule-Based Optimization(RBO) 基于成本或者统计信息的优化方式(Cost-Based Optimization:CBO) RBO方式:优化器在分析SQL语句时,所遵循的是Oracle内部预定的一些规则.比如我们常见的,当一个where子句中的一列有索引时去走索引. CBO方式:CBO是在ORACLE7 引入,但到ORACLE8i 中才成熟.ORACLE 已经声明在ORACLE9i之后的版本中,RBO将不再支持.它