Sybase数据库的碎片整理

对于像Sybase这样的大型DBMS系统而言,作为OLTP(联机事务处理)应用的基石,它需要能每天24小时, 每年365天不间断运行。由于其应用程序每天对数据库进行大量的插入、更新、删除等操作,在数据库的物理存储介质上产生了大量存储碎片,从而影响了存储的效率以及数据库应用运行的速度。是否可以像Windows操作系统的“碎片整理”程序一样,整理这些碎片,从而优化数据库存储,提高数据库的运行速度呢?答案是肯定的。本文将介绍Sybase 数据库的碎片类型以及碎片整理方法。 碎片类型

由于Sybase是通过OAM页、分配单元和扩展页来管理数据的,所以对OLTP应用的Database Server会十分频繁地进行数据删除、插入和更新等操作,时间一长就会出现以下几种情况:

1. 页碎片

即本来可以存放在一个页上的数据却分散地存储在多个页上。如果这些页存储在不同的扩展单元上,Database Server就要访问多个扩展单元,因此降低了系统性能。

2. 扩展单元碎片

在堆表中,当删除数据链中间的记录行时,会出现空页。随着空页的累积,扩展单元的利用率也会下降,从而出现扩展单元碎片。带cluster index的table也有可能出现扩展单元碎片。

当有扩展单元碎片存在,会出现以下问题:

● 对表进行处理时,常常出现死锁;

● 利用较大的I/O操作或增加I/O缓冲区的大小也无法改变较慢的I/O速度;

● 行操作的争用。

3. 扩展单元遍历

带有cluster index的table会由于插入记录而导致页分裂,但当删除记录后,页会获得释放,从而形成跨几个扩展单元和分配单元的数据,而要访问该数据就必须遍历几个扩展单元和分配单元。这将导致访问/查询记录的时间大大延长,开始时数据库的性能虽然较高,但使用一段时间后性能就会下降等问题。

实际上,数据在存储空间上排列得越紧密有序,Database Server访问的速度就越快,消除碎片有助于提高系统的性能和更有效地利用数据存储空间。

碎片优化方法

处理碎片有多种方法,如重新定义table的填充因子,根据table的定义删除并重新创建索引、重建表等。

本文给出的方法是通过BCP实用程序将用户数据库的数据以文本形式导出,然后将用户数据库彻底清空、截断,再将文本数据导入到数据库,从而达到消除碎片的目的,具有通用性。

下面以Sun Solaris 7操作系统下的Sybase Adaptive& nbspServer Enterprise 11.5为例,说明整理数据库数据的具体方法。

1. 备份数据库

为防止在数据库碎片整理过程中出现不可预见的问题,有必要先备份数据库。

2. 创建bcp out脚本并导出数据

● 创建包含下列SQL语句的文件:

cre_bcp_out.sql

elect “bcp” + name + “out ./” + name + “_out.txt -Udboname -Pdbopwd -Ssys_name -c” vfrom sysobjects where type = ‘U’

order by name

go

● isql -Udboname -Pdbopwd -Ssystemname < cre_bcp_out. sql > b_out

● 编辑输出文件,去掉文件第一行和最后两行无关的字符:vi b_out

● 执行脚本,将数据库的数据导出到文本文件:sh b_out

3. 创建truncate table脚本并截断数据库

● 创建包含下列SQL语句的文件:

cre_trunc_out.sql

elect “truncate table” + name from sysobjects where type = ‘U’

order by name

go

● isql -Udboname -Pdbopwd -Ssystemname < cre_ trunc_out. sql > trunc_out. sql

● 编辑输出文件,去掉文件第一行和最后两行无关的字符,并在最后一行加入 go构成完整的SQL语句:vi trunc_out

● 执行以下语句,清空数据库的数据:

isql -Udboname -Pdbopwd < trunc_out. sql

4. 创建bcp in脚本并导入数据

● 创建包含下列SQL语句的文件:

cre_bcp_in. sql

elect “bcp” + name + “in ./” + name + “_out.txt& nbsp-Udboname -Pdbopwd -Ssys_name -c”from sysobjects where type = ‘U’

order by name

go

● isql -Udboname -Pdbopwd -Ssystemname < cre_ bcp_in. sql > b_in

● 编辑输出文件,去掉文件第一行和最后两行无关的字符:vi b_in

● 从文本中导入数据:sh b_in

5. 更新数据库状态

Sybase不自动维护索引的统计信息,当用truncate table截断数据库时,索引并没有改变,所以必须用update statistics来确保索引的统计信息对应当前表数据的统计。

● 创建包含下列SQL语句的文件:

cre_upd_st. sql

elect “update statistics” + name from sysobjects where typ

e = “U” order by name go

● isql -Udboname -Pdbopasswd -Ssystemname < cre_upd_st. sql > upd_st. sql

● 编辑输出文件,去掉文件第一行和最后两行无关的字符,在最后一行加入 go构成完整的SQL语句:

vi upd_st. sql

● 更新数据库状态:

isql -Udboname -Pdbopasswd -Ssystemname < upd_st. sql

至此,基本上完成了数据库用户表的碎片整理工作。

小结

在整理过程中,有以下两点需要注意:

1. Tempdb的大小

当Sybase执行bcp in脚本时,会占用导入数据2倍的tempdb空间,因此在执行前要仔细估计最大的table的大小,保证有足够的tempdb空间。当空间不够时,要考虑用分割table或删除陈旧数据的方法缩小table的大小,或者考虑增加tempdb的大小。

2. 数据库配置选项的设置

当数据库执行bcp in脚本时会产生大量的log,为保证bcp in进程不致因为log溢出而中断,应该设置 database的选项“truncate log on chkpt”为“true”。

虽然Sybase数据库是自优化的,但只要数据库是动态的,数据库碎片现象就会存在。在OLTP应用的场合,随着数据的不断增大,系统变得越来越缓慢,并且经常出现死锁时,应该检查数据库的碎片,并且采用以上方法进行优化。

实际上,应该定期做数据库的碎片整理,保证数据库的物理存储经常处于最优状态,相对于增加硬件而言,这是一种更好的保持数据库性能的低成本的途径。

时间: 2024-10-29 08:44:55

Sybase数据库的碎片整理的相关文章

Oracle 数据库碎片整理

oracle|数据|数据库 Oracle 数据库碎片整理http://www.computerworld.com.cn (2001-05-14 11:15:01)我们知道,oracle作为一种大型数据库,广泛应用于金融.邮电.电力.民航等 数据吞吐量巨大,计算机网络广泛普及的重要部门.对于系统管理员来讲,如何 保证网络稳定运行,如何提高数据库性能,使其更加安全高效,就显得尤为重要 .作为影响数据库性能的一大因素--数据库碎片,应当引起dba的足够重视,及时 发现并整理碎片乃是dba一项基本维护内

Oracle数据库碎片整理

oracle|数据|数据库 我们知道,Oracle作为一种大型数据库,广泛应用于金融.邮电.电力.民航等数据吞吐量巨大,计算机网络广泛普及的重要部门.对于系统管理员来讲,如何保证网络稳定运行,如何提高数据库性能,使其更加安全高效,就显得尤为重要.作为影响数据库性能的一大因素--数据库碎片,应当引起DBA的足够重视,及时发现并整理碎片乃是DBA一项基本维护内容.----1.碎片是如何产生的----当生成一个数据库时,它会分成称为表空间(Tablespace)的多个逻辑段(Segment),如系统(

数据库内核月报 - 2015 / 08-MySQL · 社区动态 · MariaDB InnoDB表空间碎片整理

介绍 当你对InnoDB进行修改操作时,例如删除一些行,这些行只是被标记为"已删除",而不是真的从索引中物理删除了,因而空间也没有真的被释放回收.InnoDB的Purge线程会异步的来清理这些没用的索引键和行,但是依然没有把这些释放出来的空间还给操作系统重新使用,因而会导致页面中存在很多空洞.如果表结构中包含动态长度字段,那么这些空洞甚至可能不能被InnoDB重新用来存新的行,因为空间空间长度不足. 有些用户可能会使用 OPTIMIZE TABLE 或者 ALTER TABLE <

Sybase数据库备份方案

Sybase数据库产品自从1987年问世以来,它的客户机/服务器(client/server)工作模式.分布处理的基础体系结构.完善的安全保密性能.高速快捷的运行方式.多平台跨操作系统的广泛应用等优点,迅速被IT界接受并推广应用.我们作为金融业的用户,也在1995年开始使用Sybase10版本.在具体的使用中,发现集中式的数据管理有其优点,就是数据风险范围大为缩小,但是作为Sybase的服务器一端,数据风险比较集中,如何做好数据库的数据备份,成为至关重要的问题. 在实际应用中,我们总结出了两种全

Oracle碎片整理的几个问题

数据库碎片是影响数据库性能的一个大因素,应及时发现并整理碎片. 一.碎片是如何产生的 当创建一个数据库实例时,会分成称为表空间(tablespace)的多个逻辑段(segment),如系统(system)表空间,临时(temporary)表空间等.一个表空间可以包含多个数据范围(extent)和一个或多个自由范围块,即自由空间(free space). 表空间.段.范围.自由空间的逻辑关系如下: 当表空间中生成一个段时,将从表空间有效自由空间中为这个段的初始范围分配空间.在这些初始范围充满数据时

关于sybase数据库的锁

锁类型选择的确是sybase数据库设计的一个需要重要考虑的问题!也是sybase开发和管理人员比较头疼的问题,为此,来点关于lock的介绍性资料! 所支持的加锁机制 全页加锁 全页加锁既是一个新术语,它又是由ASE(Adaptive Server Enterprise)在过去所支持的一种加锁类型.这种类型有下列特性: 对所有可被访问的页面在页面级加锁 当各种类型的页面以任何方式发生改变时,对这些排它性的页面进行加锁:而且这种加锁机制一直保持到该事务终止: 当下一个所需的页面已经成功地获得,对那些

SYBASE数据库系统管理经验谈

作为享誉全球的大型http://www.aliyun.com/zixun/aggregation/22.html">关系数据库管理系统供应商之一,SYBASE公司在企业解决方案.电子商务应用(e-Business).商务智能(BI).移动与嵌入计算及企业级电子金融应用(e-finance)等领域为客户提供了业界领先的技术,其SYBASE数据库管理系统拥有许多成功的应用案例和广泛的用户群.在系统管理过程中,数据库系统管理员(DBA)如果采取有效的措施,将使SQL Server持续地运行在高效

Linux系统下Mysql数据库安装配置整理

Mysql安装 1.通过官网下载mysql源码包.http://dev.mysql.com/downloads/ 点击MySQL Community Server,选择Source Code, 点击 Generic Linux (Architecture Independent), Compressed TAR Archive后的Download # wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.20.tar.gz # t

Sybase数据库方案湖北地税应用案例

从2004年年初开始,湖北省地方税务局进行了一次全省范围内税源普查工作.为此,湖北省地税局动用了湖北地税系统1936个税务机关的近两万人,采集了约77万户纳税人的基本信息.税款征收情况以及社保费等 数据,每个企业相关的表格多达20多张.这是湖北省地方税务系统第一次如此大规模.全面的普查.这次普查的完成一方面得益于税务系统周密的组织,同时也得益于今年年初开始建设的数据仓库系统的帮助.没有数据仓库提供的分析和统计功能的支持,普查效果将大打折扣.调查历时数月,但调查结果一经整理录入计算机,各种统计信息