物化视图刷新原理与性能诊断

参考文档:Materialized View Refresh: Locking, Performance, Monitoring (文档 ID 258252.1)

How to Monitor the Progress of a Materialized View Refresh (MVIEW) (文档 ID 258021.1)

1、名词解释:
基表
指的是英文里面的Master Table和Master Materialized View,并不只是只一个表,而是创建MView的时候所需要用到的n个表或者是相关的上一级的MView。
MView
就是Materialized View了,物化视图。
源数据库端
Master Site和Master Materialized View Site,指的是基表所在的数据库
MView端
Materialized View Site,MView所在的数据库

2、常见用法:

例子:

SQL>create materialized view log on table_tst;

SQL>create materialized view table_tst [on prebuilt table]  refresh   fast as select * from table_tst@lnk_db_master; 

SQL>exec dbms_mview.refresh('table_tst',method => 'Complete');

SQL>exec dbms_mview.refresh('table_tst'); 

SQL> declare jobid number;

begin

sys.dbms_job.submit(job => jobid,

what => 'dbms_mview.refresh(''table_tst'');',

next_date => sysdate,

interval => 'sysdate+5/1440');

commit;

end;

 /

其中

第1步是在需要复制的主表(master table)上创建mv log。

第2步是在远程站点(想复制到的那个站点)上创建mv,注意,如果选择了选项on prebuild table的话,表示在已经存在的表上创建mv,需要已经存在的表的字段与select的字段必须要对应,这个已经存在的表中可以没有数据。

第3步是全同步,如果没有选择on prebuild table,这一步可以省略,因为默认创建mv的时候,就会全刷新

第4步是增量刷新,在完成全刷新以后的情况下,一般都只需要做增量刷新即可。

第5步是创建一个自动刷新的作业来进行刷新,如每5分钟刷新一次,这个操作也可以同crontab来代替。

我们举个测试栗子:

创建带有主键的表(不能用sys用户,因为sys用户的表不能创建mv 日志):ORA-12010: 不能在 SYS 拥有的表上创建实体化视图日志。
create table table_tst (a int, b varchar2(50), constraint pk_tst primary key(a));
 
创建对应的MV名为
create materialized view table_tst_mv as select * from table_tst;

此时表SYS.SNAP$中多了一条新记录:

创建视图日志:
create materialized view log on table_tst;
此时表sys.MLOG$中多了一条新记录:

向表中插入数据:
insert into table_tst select rownum, object_name from all_objects;

检查当前表和物化视图里的数据是否一致:
select count(*) from table_tst
 COUNT(*)
----------
     85722

select count(*) from table_tst_mv
  COUNT(*)
----------
0

刷新到物化视图:
exec dbms_mview.refresh('table_tst_mv');

SQL> select count(*) from table_tst_mv;

  COUNT(*)
----------
      85722

此时物化视图已经刷新了,在看下记录表(已经记录了现在youngest的时间,最新时间):

同事sys.SNAP$ 里面也记录了最新RSCN:

在实际应用的环境中表T和MView MVT并不是在同一个机器上,而是分散在两个以上的机器上,同时基表也可能不止一个,可能存在多个。

下面列举了MView在实际中的主要作用:

  • 减轻网络负担:通过MV将数据从一个数据库分发到多个不同的数据库上,通过对多个数据库访问来减轻对单个数据库的网络负担。
  • 搭建分发环境:通过从一个中央数据库将数据分发到多个节点数据库,达到分发数据的目的。
  • 复制数据子集:MV可以进行行级/列级的筛选,这样可以复制需要的那一部分数据。
  • 支持离线计算:MV不需要专用的数据库连接,用户可以按照自己的需求来复制所需要的那一部分数据。

3、物化视图相关的重要的表:

dba_mviews记录了远程站点上mv的数目与属性,需要在创建MV的站点上查询。

sys.mlog$ 则记录了主站点上的mv的log数目,如果一个master对应到多个站点,也只有一条记录,对应到dba_mview_logs视图,需要在主站点查询。

sys.slog$记录了主站点上已经注册成功的主表信息,如果一个主表被复制到多个站点,则对应多条记录,在主站点查询。

dba_snapshot_logs存放了mv的log日志,如果对应到多个站点,则每个站点都对应一条记录,因为远程站点的snapshot_id是不一样的。其实sys.mlog$与sys.slog$的关联就是组成dba_snapshot_logs的一个部分,通过查询dba_views可以看到其脚本。

dba_registered_snapshots记录了远程站点的注册信息,只记录注册成功的远程站点,通过snapshot_id可以与dba_snapshot_logs关联。

4、物化视图刷新的方式:

下面接着说说MView刷新这个事。

MView里面的数据是不会和基表保持实时的同步的,它只是基表在某时时间点(刷新的时间点)的一个一致性的数据的镜像,因此,要保持MView尽可能的和基表同步的话就需要我们定期的对MView进行刷新。

MView刷新的分类

Oracle支持三种种方式的刷新:完全刷新和快速刷新以及强制刷新。

完全刷新(complete refresh)

对一个MView进行全部刷新的时候差不多是将MView重建了,在进行MView全部刷新的时候会现将MView中现有的数据删除(版本在10G或以上)或者TRUNCATE(版本低于9i),然后在根据创建MView时候的查询生成数据插入到MView中。

对于多层的MView来说,当master MView全部刷新之后对应的下一级的MView也需要全部刷新,否则将会收到ORA-12034的错误。

快速刷新(fast refresh)

快速刷新是一种比完全刷新快的多的刷新方式,快速刷新只刷新自上次刷新以来修改的数据,因为快速刷新所要操作的数据量少,使用这种方法能大大的节省带宽.快速刷新要求在基表上面有MView Log。

 exec dbms_mview.refresh('table_tst_mv', 'F');

强制刷新(force refresh)

当进行强制刷新的时候系统会首先尝试进行快速刷新,如果快速刷新无法进行的时候系统将会进行完全刷新。其实就是一个快速刷新和完全刷新的结合体。

指定刷新方式

既然有那么多种的刷新方式那我们怎么指定他们呢?

在Oracle中有两种方法来制定所用的刷新方式,第一种在上面我们已经看过了,就是在执行刷新MView语句的时候制定刷新方式,比如说

exec dbms_mview.refresh('table_tst_mv', 'F');

用来指定对MView mvt进行快速刷新,将其中的”F”改成”C”就是指定对mvt进行完全刷新了。

exec dbms_mview.refresh('table_tst_mv', 'C');

另外一种方法是直接执行

exec dbms_mview.refresh('table_tst_mv');

就是不指定刷新的参数,这个时候MView的刷新方式将是根据创建时候由REFRESH语句指定的刷新方法来进行刷新了,REFRESH语句一共有下面几种使用方法

[refresh [fast | complete | force]
  ......
  ]

  • FAST: 采用增量刷新,只刷新自上次刷新以后进行的修改
  • COMPLETE: 对整个实体化视图进行完全的刷新
  • FORCE(默认): Oracle在刷新时会去判断是否可以进行快速刷新,如果可以则采用Fast方式,否则采用Complete的方式,Force选项是默认选项

什么时候刷新

现在怎么刷新的问题解决了,接下来就是考虑我们什么时候进行刷新了。

我们从上面已经知道我们需要定期的对MView进行刷新以保证基表和MView的数据同步,这个定期的方法就是使用job,同样我们有两种方法来创建刷新MView的job。

使用DBMS_JOB包来创建

-- 提交一个JOB用来刷新MView
USER@orcl> variable job1 number;
USER@orcl> execdbms_job.submit(:job1,'dbms_mview.refresh(''"user"."table_tst_mv"'');',sysdate,'sysdate+1/24');
PL/SQL procedure successfully completed.
 
USER@orcl> commit;
Commit complete.
 
-- 查看一下结果
USER@orcl> select JOB,NEXT_DATE,NEXT_SEC,INTERVAL,WHAT fromuser_jobs;
       JOB NEXT_DATE           NEXT_SEC                 INTERVAL                       WHAT
---------- ------------------- ------------------------ ------------------------------ ----------------------------------------
        23 2009-01-13 13:52:14 13:52:14                 sysdate+1/24                   dbms_mview.refresh('"user"."table_tst_mv"');

使用这种方法相对下面的方法来说不同之处在于这种方法可以自己指定刷新的语句,这样灵活性相对高一些。

在创建MView的时候指定REFRESH语句

没错,还是REFRESH语句,这个语句的用法还是挺多的,下面列出这个语句的其他用法:

[refresh ......
         [start with date]
         [next date]
  ......
  ]

  • START WITH: 第一次刷新时间
  • NEXT: 刷新时间间隔

说明:指定上面两个选项的任意一个都将会在系统中产生一个新的JOB,用来对所建立的MV进行刷新,这个JOB可以从DBA_JOBS查到,同时删除MV之后该JOB也会被删除。下面我们看一个例子:

-- 创建一个MView,并指定刷新时间为sysdate和刷新间隔为一个小时
create materialized view mvt2 
refresh start with sysdate next sysdate+1/24 as select * from t;
Materialized view created.

每两个小时刷新一次

CREATE MATERIALIZED VIEW mvt2
refresh complete
Start With Sysdate Next trunc(sysdate, 'HH24')+1/12
as 
select * from users where isbest=1;

start with指定第一次同步的时间,next则是下次执行时间了
 
-- 现在我们看一下job
-- 请注意这里的WHAT那一栏中MView刷新的代码是不带刷新方式的,也就是说按照创建时候的刷新方式进行刷新
USER@orcl> select JOB,NEXT_DATE,NEXT_SEC,INTERVAL,WHAT fromuser_jobs;
JOB NEXT_DATE           NEXT_SEC  INTERVAL      WHAT
--- ------------------- --------- ------------- ----------------------------------------
 21 2009-01-13 13:20:20 13:20:20  sysdate+1/24 dbms_refresh.refresh('"USER"."MVT2"');

另外这里所说的JOB定时刷新只是针对于单个MView来说的,而对于存在多个MView要刷新的时候我们就要开始考虑刷新组了,这个部分以后再慢慢说明。

时间: 2024-09-14 18:13:28

物化视图刷新原理与性能诊断的相关文章

[20150705]12c物化视图刷新Out of place2

[20150705]12c物化视图刷新Out of place2.txt --11G物化视图刷新有1个参数atomic_refresh. --如果为false,采用的方式是truncate,再使用/*+ append */ 提示insert.这样redo最少,但是刷新期间无法访问. --如果为true,采用的方式是delete,再insert.这样产生许多redo与undo.这样在刷新期间访问没问题,最多有点慢. --自己做一个测试: --12c在这个基础上引入1个参数Out of place,

[20150629]物化视图刷新atomic_refresh.txt

[20150629]物化视图刷新atomic_refresh.txt --11G物化视图刷新有1个参数atomic_refresh. --如果为false,采用的方式是truncate,再使用/*+ append */ 提示insert.这样redo最少,但是刷新期间无法访问. --如果为true,采用的方式是delete,再insert.这样产生许多redo与undo.这样在刷新期间访问没问题,最多有点慢. --自己做一个测试: 1.建立测试环境: SCOTT@test> @ver1 PORT

特殊的物化视图刷新

现在有一个需求,某个环境中存在两个用户,一个用户中存在物化视图,另一个用户中存在源表,根据业务的需要,需要做一种特别的物化视图刷新. 物化视图用户中的物化视图为CORP_NAME 源数据用户中的表为ADD_CORP_NAME 可能数据刷新是没有问题,关键就是在于CORP_NAME中的字段要比ADD_CORP_NAME多一些.CORP_NAME           ADD_CORP_NAME CORP_ID               |  CORP_ID            SYS_CREAT

物化视图刷新结合ADG的尝试

之前写过一篇 物化视图刷新结合ADG的尝试,想必绝大多数的朋友看完再没有深究,其实也有些朋友做了建议,让我尝试prebuilt来做.这种数据迁移方式用的比较少,但是个人感觉还是很不错的.如果迁移的表不是很多,这种迁移方式还是非常强大的. 如果一个表非常大,我目前的设想就是通过ADG备库来把数据首先同步到统计库中,然后在主库端通过物化视图日志来增量刷新. 使用物化视图 prebuilt的方式确实可以实现,我产生了几个疑问,物化视图日志该什么时候创建.创建的时间太早或者太晚,对于增量刷新是否有影响,

oracle如何利用触发器对物化视图刷新进行定制

物化视图的刷新其实和普通的SQL执行没有什么本质的区别,因此也可以通过在物化视图上创建触发器的方式,对刷新操作进行定制. 正好前两天有人在BLOG上问我,如果在物化视图添加一个时间戳列,并在物化视图更新的时候,自动维护这个列.其实很简单,通过触发器就可以达到这个目的: SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, NAME VARCHAR2(30)); 表已创建. SQL> INSERT INTO T SELECT ROWNUM, TNAME FROM

物化视图刷新失败导致日志表异常增大

整理自:http://blog.itpub.net/231499/viewspace-63714/ 今天在检查时,发现某个物化视图日志占用的空间超过150M,再检查看,该物化视图日志表的记录数有150W,由于其对应的物化视图没有会刷新一次,结合业务量分析可知:物化视图日志不能正常清除. 下面的解决步骤 --在源库查询物化视图对应日志条目个数SQL> select count(1) from MLOG$_ITEM_TAG; COUNT(1)----------532515 --在物化视图端刷新物化

物化视图刷新的问题及分析

最近现场需要搭建一套全新的环境,对于数据字典的管理采用了物化视图,因为数据量不大,采用了全量刷新的方式.因为有好几套环境,有几套环境是通过db link和主节点的表创建的物化视图,这几个节点间的网络情况不好,刷新一个稍微大一些的表或者带有lob字段的表时,速度会很慢,因为有好几套环境,一套一套的等待刷新完得花费不少的时间,所以自己想写一个shell脚本让它在后台慢慢跑,这样过一段时间再看看日志保证数据都已经刷新完毕就可以了. 原本采用的方式是 create materialized view x

【物化视图】根据物化视图日志快速刷新物化视图的过程

先来再次分析一下物化视图日志的结构. yang@rac1>create table t (id number ,name varchar2(30),val number); Table created. yang@rac1>create materialized view log on t with rowid,sequence (id,name) including  new values; Materialized view log created. yang@rac1>desc m

oracle基于COMMIT SCN的物化视图日志快速刷新的方法

11.2中物化视图日志可以指定COMMIT SCN,这时物化视图刷新就不需要时间戳了,这篇简单描述Oracle是如何实现通过COMMIT SCN来进行刷新的. 建立一个测试环境: SQL> SELECT * FROM V$VERSION; BANNER -------------------------------------------------------------------------------- Oracle Database11gEnterprise Edition Relea