DB2 V10.1多温度数据管理建议的重要概念

数据仓库中的数据可依据其温度来分类。数据的温度基于其年龄、被访问的频率、不稳定程度和">访问数据的查询的性能的重要性。热数据经常被访问和更新,用户在访问这类数据时期望获得最佳的性能。冷数据很少被访问和更新,并且访问这类数据的查询的性能无关紧要。为热数据使用更快、更昂贵的存储设备,为冷数据使用更慢、更廉价的存储设备,这样就可以优化最重要的查询的性能,同时帮助降低总体成本。

本文将介绍一种管理多温度数据仓库的战略,该战略基于数据的温度将数据存储在不同类型的存储设备上。文中提供了针对以下每项任务的指南和建议:

• 标识数据并将其归类到不同温度层
• 设计数据库来容纳多个数据温度
• 将数据从一个温度层移动到另一个温度层
• 使用 DB2® 工作负载管理器为热数据请求分配比冷数据请求更多的资源
• 在数据仓库包含多个数据温度层时,规划一个备份和恢复策略

本文的内容适用于基于 10.1 版或其更高版本的 DB2 Database for Linux, UNIX, and Windows 的数据仓库。

存储在数据仓库环境中的数据量正在以前所未有的速度增长。此类增长有多种原因。例如:

• 数据库用户保留了无数的详细数据,比如交易历史、Web 搜索查询和详细的电话记录。
• 随着数据挖掘算法不断改进,并且越来越高的处理能力变为现实,组织正在分析更加久远的历史数据,以便更准确地预测未来需求。
• 更严格的制度和审计标准现在要求企业将数据保留比以往更长的时间。
• 许多企业正在通过改用基于 Web 的记录来消除基于纸张的记录的成本。

但是,不是数据仓库中的所有数据都对组织具有同等的价值。一般而言,与更老的数据相比,查询和维护流程更有可能访问或更新仓库中最新的数据。因此这些数据被称为热数据。随着时间的推移,数据会逐渐冷却,变为暖数据,然后变为冷数据,表明用户访问或更新此数据的概率明显降低。但是,这些数据必须仍然可用于制度请求、审计和长期研究。冷数据请求的另一个重要特征是,用户通常不会执著于这些请求的最佳性能。因为高性能对这些查询无关紧要,所以可以将冷数据放在更慢、更廉价的存储设备上。

一个仓库可包含多个不同的温度层(热、暖、冷和休眠)。一般而言,温度层的数量与附加到仓库的存储设备的不同类型数量是相对应的。例如,您可以将热数据存储在新的固态硬盘 (SSD) 上;将暖数据存储在新的快速磁存储设备上;将冷数据和休眠数据存储在更老、更低效的磁存储设备上。

每个数据温度的定义依赖于具体的环境,但数据温度通常具有很常见的类别。下表提供了按温度对数据进行分类的一些指南:

数据温度 数据温度特征 典型数据年龄 热 战术性和 OLTP 类型的数据 — 常被必须具有很短的响应时间的查询访问的最新数据。例如,操作数据存储 (ODS) 中的高容量、较小的结果集单点查询。 0 - 3 个月,包括此数据的合计或摘要 暖 传统的决策支持类型数据 — 较少被访问和被很可能不需要短响应时间的查询访问的数据。 3 - 13 个月,包括此数据的合计或摘要 冷 久远的历史和遗留数据 — 通常很少被访问的数据。 13 个月 - 5 年 休眠 制度类型的数据或归档数据 — 很少被访问且从不更新的数据。 超过 5 年

随着数据的老化,数据的平均 温度会逐渐冷却。在用户进行定期分析时,比如分析当前季度与去年相同季度的对比结果,可能出现温度波动或热点。但通常数据仓库中只有较小比例的数据被视为热数据或暖数据,70% 到 90% 的数据被视为冷数据或休眠数据。下图给出了数据在温度层上的典型分布。

图 1:数据在温度层上的典型分布
图字: 数据量 热数据 暖数据 冷数据 休眠数据 数据年龄

时间: 2024-10-27 22:07:11

DB2 V10.1多温度数据管理建议的重要概念的相关文章

DB2 V10.1多温度数据管理:备份和恢复考虑因素

当一个http://www.aliyun.com/zixun/aggregation/8302.html">数据仓库在廉价.更慢的存储设备上存储了大量冷数据时,与仅包含快速存储设备的环境相比,它会花更多的时间来进行完整的数据库备份.备份时间与存储设备的速度直接相关.因此,对于具有多温度数据的仓库,最佳实践建议是实现在线表空间备份.使用一种基于表空间备份的备份战略,而不是完整数据库备份,这样可以执行基于数据温度的细粒度备份.例如,您可以一个月备份一次冷数据和休眠数据(与数据从一个温度层到另一

DB2 V10.1多温度数据管理:针对多温度数据的数据库设计

当为多温度数据设计数据库时,本文推荐的主要原则是将热.暖.冷和休眠数据物理地分开,将不同的温度层隔离在不同的存储组中.将热数据和暖数据放在最快的存储上的表空间中,将冷数据和休眠数据放在更廉价.更慢的存储设备上的表空间中.这种类型的数据库设计使所有数据均可访问,还通过为很少访问或很少更新的数据使用更低成本的存储来优化了性价比平衡. 通过基于数据的温度来将其存储在表空间中,将热.暖.冷和休眠数据物理地分开.将热数据存储在最快的存储设备上,将暖数据存储在快速的存储设备上,将冷和休眠数据存储在较慢的存储

DB2 V10.1多温度数据管理:设置存储媒体属性

如今市场上充斥着大量的媒体类型,其中包括硬盘驱动器.闪存卡和固态驱动器.一些媒体具有不错的读取性能,一些具有不错的写入性能,还有一些与其他媒体相比具有不错的读/写性能.在组织数据时,至关重要的是考虑数据存放的位置和时间,以及数据在所选媒体设备上存储多长时间.不同媒体类型具有不同的性能.最高性能的媒体类型需要更高的成本.采用最佳总体拥有成本方法,数据可分布在各种不同的媒体设备上. 确定http://www.aliyun.com/zixun/aggregation/35211.html">媒体

DB2 V10.1多温度数据管理:在温度层之间移动数据

随着数据不断老化和冷却,将它们从一个温度层移动到另一个温度层就很重要.例如,可以设置一个批处理作业,每个月或每季度定期将数据从一个温度层移动到另一个温度层.因为不同温度层中的数据存储在不同的存储设备上,所以移动数据会导致将该数据从源存储组的存储路径移动到目标存储组. 如果有多个表共享一个表空间,请确保这些表具有相同的温度特征.一个表空间中的所有数据会在存储组改变时发生移动.将数据从一个温度层移动到另一个温度层之后,就可以使用 RUNSTATS 命令收集统计信息. 以下过程显示了如何将当前数据分区

DB2 V10.1将现有数据库升级为多温度存储数据库

在将现有数据库升级为多温度http://www.aliyun.com/zixun/aggregation/17326.html">存储数据库之前,必须先将它们升级到 DB2 V10.1.在升级 DB2 服务器和数据库之前,请备份数据库.请参阅 DB2 V10.1 文档中的"升级数据库"一节,了解有关的完整细节.下面的过程描述了将现有数据库升级为多温度存储数据库的步骤顺序. 1. 使用 UPGRADE DATABASE 命令将现有数据库升级到 DB2 V10.1 版本.

如何在SAP环境下升级到DB2 V10.5

IBM DB2 V10.5 for Linux, Unix, and Windows,简称 DB2 V10.5,是 IBM 在 Linux,Unix 和 Windows 平台上的企业级数据库产品 DB2 for LUW 的http://www.aliyun.com/zixun/aggregation/29707.html">最新版本,它已于 2013 年 6 月正式发布.DB2 V10.5 提供了很多新的功能特性以及对一些老的 DB2 特性做了加强,很多用户由于业务系统的需要,希望将 DB

DB2 V10.5.0如何合理高效的收集数据库对象统计信息

DB2 优化器是基于成本的优化器,SQL 语句的访问计划是通过成本计算得到的,而成本的计算又是基于数据库对象的统计信息,所以实时准确的统计信息,对于查询效率至关重要. 那么到底应该何时收集统计信息呢?在 DB2 V10.5.0 之前,大部分用户主要会采取两种方式,一种是有经验的 DBA 根据业务的具体情况或通过一些估计来确定收集的时间,另一种就是定一个收集周期,即每间隔多长时间收集一次,显然这两种方法都存在问题,第一种方式需要对数据进行大量的评估和计算,费时费力,第二种方式则缺乏科学依据,假如在

DB2 v10.5索引特性的功能和性能使用案例

索引是数据库的应用中提高查询性能的重要手段.DB2 v10.5 加入了多项关于索引方面的改进来,提升了索引的功能和性能,让索引的使用变得更加灵活和方便.这些新特性包括:排除空键索引(EXCLUDE NULL KEYS INDEX).表达式索引(INDEX ON EXPRESSION)以及新的索引键排序方式随机排序(Random)的支持. 在http://www.aliyun.com/zixun/aggregation/29707.html">最新版本的 Optim Query Worklo

利用DB2 V10.1中的全局变量实现全球化

本文的第 1 部分 展示了 DB2 V10.1 的安全性特性如何满足将来自多个国家(行政区)的数据整合到单独一组表中的组织的关键http://www.aliyun.com/zixun/aggregation/12445.html">业务需求: 1. 使本地用户仅能访问其所在国家(行政区)的数据2. 使地区用户仅能访问其所在地区的数据3. 针对地区用户,实现"地方敏感型",自动将不同国家(行政区)的币种值转为通用币种(例如,为了汇总分别使用新加坡货币和中国香港货币的两种商