在DB2中提高INSERT性能的技巧(1)_DB2

正在看的db2教程是:在DB2中提高INSERT性能的技巧(1)。
INSERT 处理过程概述

首先让我们快速地看看插入一行时的处理步骤。这些步骤中的每一步都有优化的潜力,对此我们在后面会一一讨论。

  1. 在客户机准备 语句。对于动态 SQL,在语句执行前就要做这一步,此处的性能是很重要的;对于静态 SQL,这一步的性能实际上关系不大,因为语句的准备是事先完成的。
  2. 在客户机,将要插入的行的各个 列值组装起来,发送到 DB2 服务器。
  3. DB2 服务器确定将这一行插入到哪一页中。
  4. DB2 在 用于该页的缓冲池中预留一个位置。如果 DB2 选定的是一个已有的页,那么就需要读磁盘;如果使用一个新页,则要在表空间(如果是SMS,也就是系统管理存储的表空间)中为该页物理地分配空间。插入了新行的每一页最后都要从缓冲池写入到磁盘。
  5. 在目标页中对该行进行格式化,并获得该行上的一个X(exclusive,独占的) 行锁。
  6. 将反映该 insert 的一条记录写入到日志缓冲区中。
  7. 最后提交包含该 insert 的事务,如果这时日志缓冲区中的记录还没有被写入日志文件的话,则将这些记录写到日志文件中。

此外,还可能发生很多类型的附加处理,这取决于数据库配置,例如,索引或触发器的存在。这种额外的处理对于性能来说也是意义重大的,我们在后面会讨论到。

insert 的替代方案

在详细讨论 insert 的优化之前,让我们先考虑一下 insert 的两种替代方案:load 和 import。import 实用程序实际上是 SQL INSERT 的一个前端,但它的某些功能对于您来说也是有用的。load 也有一些有用的额外功能,但是我们使用 load 而不使用 insert 的主要原因是可以提高性能。

load 直接格式化数据页,而避免了由于插入导致的对每一行进行处理的大部分开销(例如,日志记录在这里实际上是消除了)。而且,load 可以更好地利用多处理器机器上的并行性。在 V8 load 中有两个新功能,它们对于 load 成为 insert 的替代方案有着特别的功效,这两个功能是:从游标装载和从调用层接口(CLI)应用程序装载。

从游标装载

这种方法可用于应用程序的程序代码(通过 db2Load API),或用于 DB2 脚本。下面是后一种情况的一个例子:
declare staffcursor cursor forselect * from staff;
load from staffcursor of cursor insert into myschema.new_staff;

这两行可以用下面一行替代:
insert into myschema.new_staff select * from staff
同等效的 INSERT ... SELECT 语句相比,从游标装载几乎可以提高 20% 的性能。

从 CLI 装载

这种方法显然只限于调用层接口(CLI)应用程序,但是它非常快。这种技巧非常类似于数组插入,DB2 附带了这样的示例,使用 load 时的速度是使用经过完全优化的数组插入时的两倍,几乎要比未经优化的数组插入快 10 倍。

所有 insert 可以改进的地方

让我们看看插入处理的一些必要步骤,以及我们可以用来优化这些步骤的技巧。

1. 语句准备

作为一条 SQL 语句,INSERT 语句在执行之前必须由 DB2 进行编译。这一步骤可以自动发生(例如在 CLP 中,或者在一次 CLI SQLExecDirect 调用中),也可以显式地进行(例如,通过一条 SQL Prepare、CLI SQLPrepare 或 JDBC prepareStatement 语句)。该编译过程牵涉到授权检查、优化,以及将语句转化为可执行格式时所需的其他一些活动。在编译语句时,语句的访问计划被存储在包缓存中。

如果重复地执行相同的 INSERT 语句,则该语句的访问计划(通常)会进入到包缓存中,这样就免除了编译的开销。然而,如果 insert 语句对于每一行有不同的值,那么每一条语句都将被看成是惟一的,必须单独地进行编译。因此,将像下面这样的重复语句:
insert into mytable values (1, 'abc')
insert into mytable values (2, 'def')

等等,
换成带有参数标记的语句,一次准备,重复执行,这样做是十分可取的:
insert into mytable values (?, ?)

使用参数标记可以让一系列的 insert 的运行速度提高数倍。(在静态 SQL 程序中使用主机变量也可以获得类似的好处。)

2. 发送列值到服务器

可以归为这一类的优化技巧有好几种。最重要的一种技巧是在每条 insert 语句中包括多行,这样就可以避免对于每一行都进行客户机-服务器通信,同时也减少了 DB2 开销。可用于多行插入的技巧有:

[1] [2] 下一篇

时间: 2024-08-17 18:33:07

在DB2中提高INSERT性能的技巧(1)_DB2的相关文章

提高EJB性能的技巧

项目进行到这里,开始出现新的问题.EJB调用是耗时.费力的.怎么提高EJB的性能?我们为解决这一问题,开始边写边讨论.等到完成了,我才发现,我们所应用的技巧总结一下,竟有十条.把提高EJB性能的这些技巧总结一下,为以后的项目做参考. 1.用一个Session Bean封装多个Entity Bean,将原来的多个Entity Bean的Remote调用和Local调用封装在一个Session Bean中.所以建立一个ServerFacade,它为多个对象提供统一获取EJB Home和获取对象的接口

DB2中的数据移动(一)_DB2

DB2中所谓的数据移动包括   1. 数据的导入Import   2. 数据的导出Export   3. 数据的装入Load   导入和装入都是利用DB2的相关命令把某种格式的文件中的数据保存到数据库中的表中   导出是指把DB2数据库的表中的数据保存到某种格式的文件当中去   数据移动的作用   如果要在不同的数据库管理系统之间转移数据数据移动通常是最实用的一种方法因为任何一种数据库管理系统都支持常用的几种文件格式通过这个通用的接口就很容易实现不同系统间数据的转移.   这三个命令中Expor

通过 Dom 方法提高 innerHTML 性能_javascript技巧

复制代码 代码如下: function replaceHtml(el, html) {     var oldEl = typeof el === "string" ? document.getElementById(el) : el;     /*@cc_on // 原始的 innerHTML 在 IE 中的性能好一点         oldEl.innerHTML = html;         return oldEl;     @*/     var newEl = oldEl

提高 DHTML 页面性能_javascript技巧

摘要:本文说明了某些 DHTML 功能对性能的重大影响,并提供了一些提高 DHTML 页面性能的技巧. 目录 简介 成批处理 DHTML 更改 使用 innerText 使用 DOM 添加单个元素 扩展 SELECT 元素中的选项 用 DOM 更新表 编写一次,使用多次 请勿过多使用动态属性 数据绑定很有效 不要在 document 对象中设置 expando 属性 避免切换类和样式规则 查找父项之前,先折叠文本范围 其他资料 简介 动态 HTML (DHTML) 在 Microsoft Int

PHP中使用hidef扩展代替define提高性能_php技巧

网站需要新加一个常量,打开了本地的config.php文件,想到了几年前测试过的hidef以及apc提升define性能的方案. 我的程序中有对开发.测试.生产服务器分别做了不同的配置,在常量方面则使用了一个数组定义了所有需要定义的常量,然后检测是否有apc_load_constants函数,没有的话,批量define.使用apc时,每增加一个常量,还需要修改一下$key才能生效. 而现在测试.生产服务器php都升级到5.4后,opcode缓存就使用了Zend opcache,不再安装APC.因

充分利用ASP.NET的三种缓存提高站点性能的注意方法_实用技巧

ASP.NET提供三种主要形式的缓存:页面级输出缓存.用户控件级输出缓存(或称为片段缓存)和缓存API. 尽早缓存:经常缓存  您应该在应用程序的每一层都实现缓存.向数据层.业务逻辑层.UI或输出层添加缓存支持.内存现在非常便宜-因此,通过以智能的方式在整个应用程序中实现缓存,可以获得很大的性能提高. 页面级输出缓存 最简单的缓存形式,只是在内存中保留为响应请求而发送的HTML的副本. 要实现页面输出缓存,只要将一条OutputCache指令添加到页面即可. <%@ OutputCache Du

提高代码性能技巧谈—以创建千行表格为例

创建|技巧|性能 微软的开发周期中很重要的一块是调整产品的性能.性能调整也是开发者应当留心的关键部分之一. 经过多年发展,业界对于如何优化Win32程序性能已经有非常多的了解. 现在开发者遇到的问题之一是不太清楚是什么导致DTHML和HTML页面运行快或者慢.当然,有一些很简单的方法--比如不要使用2MB大的图片.我们曾经使用过另外一些有趣的技巧提高了DHTML页面的性能,希望它们能帮助你改善自己的页面性能. 这里我使用了一个建立Table的程序例子.其中用document.createElem

提高ASP性能的22个技巧(一)

技巧|性能 技巧1:将常用数据在Web服务器端缓存起来  大部分的ASP页面都要从后台数据库中提取数据,然后将数据用HTML方式表现出来. 不管你的数据库多么快,从内存中提取数据总比从后台数据库中提取快:从本地硬盘中读取数据通常也比从数据库中快.因此,你可以通过在Web服务器端缓存数据来提高性能.  缓存是个典型的以空间换取时间的交易.如果你正确的缓存了数据,性能可能会突飞猛进.要想一个缓存能真正发挥效益,必须缓冲那些常用和计算复杂的数据.装满过期数据的缓冲区只能浪费内存.  不经常变化的数据也

提高ASP性能的22个技巧(二)

技巧|性能 技巧12:将常用数据复制到脚本变量中  当访问ASP中的COM对象时,应该将常用对象数据复制到脚本变量中.着将减少COM方法调用.而COM方法调用代价相对比访问脚本数据更高.当访问Collection和 Dictonary对象时,这项技术也能消减高昂的查询代价.  通常,当准备不止一次访问一个对象数据时,应该将这个数据放当一个脚本对象中. 这项优化的主要目标是Request变量(Form和QueryString变量).例如,你的站点传递一个叫UserID的QueryString变量,