分区表的一个持续改进方案

今天看到一个同事发了一封邮件,是关于分区的,他说目前某个表的分区需要添加,为了保险起见,让我先添加三年的。这里折射出几个问题。
1.如果没有这位开发同学提醒,我还真不知道哪个表的分区数据会有问题
2.添加三年的分区,这个对于DBA来说是一个体力活,哪怕写脚本也是,本身维护起来就比较纠结。
3.三年后的分区谁来维护,我不敢拍着胸脯说我来,我想开发的同学也不会很肯定能够记住这件事情。
4.历史数据的清理,在这方面来看,如果没有业务的确认,DBA清理就无从谈起,如果都不确定,就是按兵不动。这是分区的优点也是缺点。
所以分区表在维护中还是有一些考量之处,还有几个潜在的风险,其中一个就是性能,如果累计数据越来越多,一个不经意的SQL语句可能就会造成全表扫描,在OLTP,OLAP业务中都是很严重的影响,当然OLTP业务更甚。
而目前对于我来说,要解决的问题的重点就是需要创建大量的分区,我还得考虑二月的那天是不是闰年,到底有多少天,如果为了省事直接给30天似乎也能说得通,不过很不严谨。批量写脚本生成可行,还有一个影响就是分区的段尽管没有数据,也会初始化有相应的段分区,三年按照天来计算,也是上千个分区了,这些空间也会提前被占用。
所以让我想到一个不错的解决方案就是interval partition了,这个特性我在之前的文章中也专门介绍过。我们再来重温一下。
#1 关于间隔分区的支持,目前可以采用如下的两种形式(日期和数字)
numtoyminterval ( n, { 'YEAR'|'MONTH'})
numtodsinterval ( n, { 'DAY'|'HOUR'|'MINUTE'|'SECOND'})  使用日期形式来间隔分区
Interval (number) 按照数字来间隔分区
#2 关闭/开启自动化分区的功能
关闭功能其实很简单,就是把interval的部分设为空。

SQL> alter table test_new_partition set interval();
Table altered.
然后再尝试插入一条记录。就会发现被reject了。
SQL> insert into  TEST_NEW_PARTITION values(TEST_ID_SEQ.nextval,sysdate,'a');
insert into  TEST_NEW_PARTITION values(TEST_ID_SEQ.nextval,sysdate,'a')
                                       *
ERROR at line 1:
ORA-14400: inserted partition key does not map to any partition
如果需要开启也是类似,设定interval的值就可以了。比如下面的命令。
SQL> ALTER TABLE TEST_NEW_PARTITION SET INTERVAL(NUMTODSINTERVAL (1, 'MINUTE'));
Table altered.

现在的表bill_logout_cn就是这样一个分区表,存在一个默认分区,不过所幸里面没有数据,而从分区的数据来看应该是应用端做了控制,导致额外的数据没有插入进来。
我们要让这个表自动生成分区,就可以使用下面的语句,开启这个特性即可。
ALTER TABLE test.bill_logout_cn SET INTERVAL(NUMTODSINTERVAL (1, 'DAY'));
但是执行的时候还是发现有一些预先的必备条件。
SQL> ALTER TABLE test.bill_logout_cn SET INTERVAL(NUMTODSINTERVAL (1, 'DAY'));
ALTER TABLE test.bill_logout_cn SET INTERVAL(NUMTODSINTERVAL (1, 'DAY'))
*
ERROR at line 1:
ORA-14759: SET INTERVAL is not legal on this table.
对于这个错误,查看明细的错误信息。
[oracle@stat29 dbm_lite]$ oerr ora 14759
14759,  00000, "SET INTERVAL is not legal on this table."
// *Cause: SET INTERVAL clause was specified. ALTER TABLE SET INTERVAL is
//         only legal on a range partitioned table with a single partitioning
//         column. Additionally, this table cannot have a maxvalue partition
//         and cannot be the parent table for any reference partitioned tables.
// *Action: Use SET INTERVAL only on a valid table.
其实问题的原因就是这个分区表中存在默认的分区,我们删除默认分区。
SQL> alter table test.bill_logout_cn drop partition BILL_LOGOUT_DEFAULT;
Table altered.
然后开启interval 特性。
SQL> ALTER TABLE  test.BILL_LOGOUT_CN SET INTERVAL(NUMTODSINTERVAL (1, 'DAY'));
Table altered.
间隔是以天为单位,这样一来就是一个"一劳永逸“的处理方案了。
不过回过头来,后面要删除分区数据,或者其它分区经的维护时,还会存在一些影响,就是interval partition的分区名是在是太不友好了。SYS开头而且生成规则看起来比较混乱。我们想要解决的好一些,那就是根据high_value来处理了。当然我一查网络上早有人意识到这个问题了。
以下来自网络。http://www.cnblogs.com/killkill/archive/2011/01/06/1928971.html

declare

 v_sql varchar(400);

 v_table_name user_tab_partitions.table_name%type;

 v_partition_name user_tab_partitions.partition_name%type;

 v_high_value varchar(200);

 v_tmp_partition_name user_tab_partitions.partition_name%type;

 cursor cur is

   select

      table_name ,

      partition_name ,

      high_value

    from user_tab_partitions

    where partition_name like 'SYS%' ;

begin

  open cur;

  loop

    fetch cur into v_table_name,v_partition_name,v_high_value;

    exit when cur%notfound;

    v_tmp_partition_name := substr(v_high_value,11,10);

    v_tmp_partition_name := to_char( to_date(v_tmp_partition_name,'yyyy-mm-dd')-1 , 'yyyymm');

    v_sql := 'alter table '||v_table_name||' rename partition '

      ||v_partition_name

      ||' to P'||v_tmp_partition_name;

    dbms_output.put_line( v_sql );

    execute immediate v_sql;

  end loop;

  close cur;

end;

/

这个存储过程就是根据high_value来处理,可以在这个基础上做一些定制即可。
这样分区的维护其实就是蛮简单的一件事情了。

时间: 2024-11-09 09:20:35

分区表的一个持续改进方案的相关文章

我是如何构建一个持续发展的项目

作者:张开涛 说起项目,每个程序员都应该搭建过自己的项目,而我也搭建过数十个企业级或互联网级项目:在做企业级项目时也抽象了一套通过的开发脚手架ES方便开发,也做过一些通用的代码生成工具来生成通用项目架子或一些CRUD的代码.做这些平台或项目的时候或多或少给我一些启示和原则,而这些启示和原则一直指导着我内心方向,时刻指导我不偏离航线. 启示录 心中有原则 代码规范化 代码审查 代码重构 代码注释 代码逻辑抽象 工具类 项目闭环 持续改进 自动化 心中有原则 我认为这是搭建和维护项目的灵魂,失去了灵

可持续建筑的精益流程持续改进

1 引 言 建设部将"可持续建筑"定义为:人们提供健康.舒适.安全的居住.工作.生活的空间,同时在建筑的全寿命周期内实现高效率地利用资源(能源.土地.水.材料).最低限度地影响环境的建筑物.这个定义是比较全面的,它关注的是建筑全过程的节约,强调的是居住人的健康,同时也涉及到对环境最少的干扰.在建造和运营过程中,可持续建筑有很多优势,如:提高能源利用率.改进室内环境质量.提高建筑的适住性.最小化资源的使用量等等. 运用精益建造的手段,将可持续建筑的建造流程进行持续改进,对大力推广可持续建

轻博客点点网站发展瓶颈及改进方案

文章描述:从点点网看轻博客能走多远 发展缺陷及改进方案. 网站发展瓶颈及改进方案 一.发展瓶颈 轻博客因"基于兴趣的交流"而区别于博客和微博,而对于点点网来说,无论是兴趣还是交流都没有做好. 兴趣,虽然是点点的聚焦点,但在兴趣方面,点点的核心兴趣并没有做到足够的强大.或者说,还不至于强大到能和细分的一些贴吧.论坛相较,这一方面是由于核心用户圈不够强大,另一方面也在于至今为止的点点网的兴趣分类都过于狭窄和小众--从探索点点的热门标签可看出用户的兴趣集中在小文艺小清新类,点点的主要功能并没

《 自动化测试最佳实践:来自全球的经典自动化测试案例解析》一一 1.10 持续改进

1.10 持续改进 2011年是我们自动化测试之旅的第8年,总是要面临新的挑战.正如本章所述,我们的GUI测试套件已经增长到需要2个多小时来运行.这个时间太长了,所以我们将它划分为两个测试套件,并在两个从属机器上并行运行.这需要进行大量的工作,因为有些测试依赖于其他测试,过去没有好好实施而是采取了折中的方法,现在要为此付出代价.我们有超过5400(这个数字还在增长)个JUnit,并且重构的FitNesse测试套件在30分钟内完成. 我们知道在单元级别中的测试覆盖率,但是并不知道在功能性或GUI级

Python中断言Assertion的一些改进方案_python

Python Assert 为何不尽如人意? Python中的断言用起来非常简单,你可以在assert后面跟上任意判断条件,如果断言失败则会抛出异常. >>> assert 1 + 1 == 2 >>> assert isinstance('Hello', str) >>> assert isinstance('Hello', int) Traceback (most recent call last): File "<input>

持续改进-《高效程序员的45个习惯》读后感

原书标题为<Practices of An Agile Developer>.中文名为<高效程序员的45个习惯-敏捷开发修炼之道>.敏捷这个词已经烂大街了,关于敏捷的书籍俯拾皆是.很多人是敏捷的狂热粉丝,而另一些人却讨厌敏捷,认为只是个噱头.我觉得很可能的原因之一是敏捷这个名字没起好.它的原名为"轻量型软件开发过程"("lightweight process"),但后来阴差阳错成了agile(敏捷). 既然书名是敏捷开发者的实践,那么就必须认

tenshi 0.13发布 一个日志监测方案

tenshi是一个日志监测方案,设计看线匹配用户定义的正则表达式及匹配的报告日志文件.正则表达式分配给队列警报的时间间隔和邮件收件人列表.一旦有日志产生可以设置队列发送通知尽快分配给他们,或发送定期报告.此外,日志中的线(如PID编号)不太重要的领域,可以利用分组运算符()屏蔽与标准的正则表达式.这使得报告更清洁和更易读.所有报告都分隔主机名,如果可能,所有的消息都冻结. tenshi这个版本增加了计数低于指定值的阈值功能为丢弃日志.修复破碎的队列退出的问题.延迟daemonization启动错

U盘启动安装RHEL5.8时提示:引导分区位于一个GPT分区方案的错误提示

U盘启动安装RHEL5.8时提示:引导分区位于一个GPT分区方案的错误提示,英文为:"Your boot partition is on a disk  using GPT partitioning scheme but this machine cannot boot using GPT",无法继续进行安装操作. 参考这里,http://www.beckdim.cn/archives/209 错误原因:之前在机器上安装过VMware-VMvisor 的时候,把硬盘格式改为了GPT分区

JavaScript网站设计实践(七)编写最后一个页面 改进表单

原文:JavaScript网站设计实践(七)编写最后一个页面 改进表单 一.最后一个页面 contact.html.改进表单 在该页面实现的功能: 几乎所有的网站都会有表单填写,对于用户输入和填写的数据,首先我们一般现在前台验证,然后再去后台验证. 在前台最简单的验证:检查必填字段是否填写.填写格式是否符合要求等. 每个表单里面,当获取到输入焦点时,令提示文本消失 现在开始动手来写. 1.实现思路 (1)在这个表单里会验证的是必填字段和邮箱格式是否正确.首先,把判断必填字段和邮箱格式分别写在两个