磁盘读写与数据库的关系

 一 磁盘物理结构

  (1) 盘片:硬盘的盘体由多个盘片叠在一起构成。

  在硬盘出厂时,由硬盘生产商完成了低级格式化(物理格式化),作用是将空白的盘片(Platter)划分为一个个同圆心、不同半径的磁道(Track),还将磁道划分为若干个扇区(Sector),每个扇区可存储128×2的N次方(N=0.1.2.3)字节信息,默认每个扇区的大小为512字节。通常使用者无需再进行低级格式化操作。

  (2) 磁头:每张盘片的正反两面各有一个磁头。

  (3) 主轴:所有盘片都由主轴电机带动旋转。

  (4) 控制集成电路板:复杂!上面还有ROM(内有软件系统)、Cache等。

  二 磁盘如何完成单次IO操作

  (1) 寻道

  当控制器对磁盘发出一个IO操作命令的时候,磁盘的驱动臂(Actuator Arm)带动磁头(Head)离开着陆区(Landing Zone,位于内圈没有数据的区域),移动到要操作的初始数据块所在的磁道(Track)的正上方,这个过程被称为寻道(Seeking),对应消耗的时间被称为寻道时间(Seek Time);

  (2) 旋转延迟

  找到对应磁道还不能马上读取数据,这时候磁头要等到磁盘盘片(Platter)旋转到初始数据块所在的扇区(Sector)落在读写磁头正下方之后才能开始读取数据,在这个等待盘片旋转到可操作扇区的过程中消耗的时间称为旋转延时(Rotational Latency);

  (3) 数据传送

  接下来就随着盘片的旋转,磁头不断的读/写相应的数据块,直到完成这次IO所需要操作的全部数据,这个过程称为数据传送(Data Transfer),对应的时间称为传送时间(Transfer Time)。完成这三个步骤之后单次IO操作也就完成了。

  根据磁盘单次IO操作的过程,可以发现:

  单次IO时间 = 寻道时间 + 旋转延迟 + 传送时间

  进而推算IOPS(IO per second)的公式为:

  IOPS = 1000ms/单次IO时间

 三 磁盘IOPS计算

  不同磁盘,它的寻道时间,旋转延迟,数据传送所需的时间各是多少?

  1. 寻道时间

  考虑到被读写的数据可能在磁盘的任意一个磁道,既有可能在磁盘的最内圈(寻道时间最短),也可能在磁盘的最外圈(寻道时间最长),所以在计算中我们只考虑平均寻道时间。

  在购买磁盘时,该参数都有标明,目前的SATA/SAS磁盘,按转速不同,寻道时间不同,不过通常都在10ms以下:

  2. 旋转延时

  和寻道一样,当磁头定位到磁道之后有可能正好在要读写扇区之上,这时候是不需要额外的延时就可以立刻读写到数据,但是最坏的情况确实要磁盘旋转整整一圈之后磁头才能读取到数据,所以这里也考虑的是平均旋转延时,对于15000rpm的磁盘就是(60s/15000)*(1/2) = 2ms。

  3. 传送时间

  (1) 磁盘传输速率

  磁盘传输速率分两种:内部传输速率(Internal Transfer Rate),外部传输速率(External Transfer Rate)。

  内部传输速率(Internal Transfer Rate),是指磁头与硬盘缓存之间的数据传输速率,简单的说就是硬盘磁头将数据从盘片上读取出来,然后存储在缓存内的速度。

  理想的内部传输速率不存在寻道,旋转延时,就一直在同一个磁道上读数据并传到缓存,显然这是不可能的,因为单个磁道的存储空间是有限的;

  实际的内部传输速率包含了寻道和旋转延时,目前家用磁盘,稳定的内部传输速率一般在30MB/s到45MB/s之间(服务器磁盘,应该会更高)。

  外部传输速率(External Transfer Rate),是指硬盘缓存和系统总线之间的数据传输速率,也就是计算机通过硬盘接口从缓存中将数据读出交给相应的硬盘控制器的速率。

  硬盘厂商在硬盘参数中,通常也会给出一个最大传输速率,比如现在SATA3.0的6Gbit/s,换算一下就是6*1024/8,768MB/s,通常指的是硬盘接口对外的最大传输速率,当然实际使用中是达不到这个值的。

  这里计算IOPS,保守选择实际内部传输速率,以40M/s为例。

  (2) 单次IO操作的大小

  有了传送速率,还要知道单次IO操作的大小(IO Chunk Size),才可以算出单次IO的传送时间。那么磁盘单次IO的大小是多少?答案是:不确定。

  操作系统为了提高 IO的性能而引入了文件系统缓存(File System Cache),系统会根据请求数据的情况将多个来自IO的请求先放在缓存里面,然后再一次性的提交给磁盘,也就是说对于数据库发出的多个8K数据块的读操作有可能放在一个磁盘读IO里就处理了。

  还有,有些存储系统也是提供了缓存(Cache),接收到操作系统的IO请求之后也是会将多个操作系统的 IO请求合并成一个来处理。

  不管是操作系统层面的缓存,还是磁盘控制器层面的缓存,目的都只有一个,提高数据读写的效率。因此每次单独的IO操作大小都是不一样的,它主要取决于系统对于数据读写效率的判断。这里以SQL Server数据库的数据页大小为例:8K。

  (3) 传送时间

  传送时间 = IO Chunk Size/Internal Transfer Rate = 8k/40M/s = 0.2ms

  可以发现:

  (3.1) 如果IO Chunk Size大的话,传送时间会变长,单次IO时间就也变长,从而导致IOPS变小;

  (3.2) 机械磁盘的主要读写成本,都花在了寻址时间上,即:寻道时间 + 旋转延迟,也就是磁盘臂的摆动,和磁盘的旋转延迟。

  (3.3) 如果粗略的计算IOPS,可以忽略传送时间,1000ms/(寻道时间 + 旋转延迟)即可。

  4. IOPS计算示例

  以15000rpm为例:

  (1) 单次IO时间

  单次IO时间 = 寻道时间 + 旋转延迟 + 传送时间 = 3ms + 2ms + 0.2 ms = 5.2 ms

  (2) IOPS

  IOPS = 1000ms/单次IO时间 = 1000ms/5.2ms = 192 (次)

  这里计算的是单块磁盘的随机访问IOPS。

  考虑一种极端的情况,如果磁盘全部为顺序访问,那么就可以忽略:寻道时间 + 旋转延迟 的时长,IOPS的计算公式就变为:IOPS = 1000ms/传送时间

  IOPS = 1000ms/传送时间= 1000ms/0.2ms = 5000 (次)

  显然这种极端的情况太过理想,毕竟每个磁道的空间是有限的,寻道时间 + 旋转延迟 时长确实可以减少,不过是无法完全避免的。

  四 数据库中的磁盘读写

  1. 随机访问和连续访问

  (1) 随机访问(Random Access)

  指的是本次IO所给出的扇区地址和上次IO给出扇区地址相差比较大,这样的话磁头在两次IO操作之间需要作比较大的移动动作才能重新开始读/写数据。

  (2) 连续访问(Sequential Access)

  相反的,如果当次IO给出的扇区地址与上次IO结束的扇区地址一致或者是接近的话,那磁头就能很快的开始这次IO操作,这样的多个IO操作称为连续访问。

  (3) 以SQL Server数据库为例

  数据文件,SQL Server统一区上的对象,是以extent(8*8k)为单位进行空间分配的,数据存放是很随机的,哪个数据页有空间,就写在哪里,除非通过文件组给每个表预分配足够大的、单独使用的文件,否则不能保证数据的连续性,通常为随机访问。

  另外哪怕聚集索引表,也只是逻辑上的连续,并不是物理上。

  日志文件,由于有VLF的存在,日志的读写理论上为连续访问,但如果日志文件设置为自动增长,且增量不大,VLF就会很多很小,那么就也并不是严格的连续访问了。

  2. 顺序IO和并发IO

  (1) 顺序IO模式(Queue Mode)

  磁盘控制器可能会一次对磁盘组发出一连串的IO命令,如果磁盘组一次只能执行一个IO命令,称为顺序IO;

  (2) 并发IO模式(Burst Mode)

  当磁盘组能同时执行多个IO命令时,称为并发IO。并发IO只能发生在由多个磁盘组成的磁盘组上,单块磁盘只能一次处理一个IO命令。

  (3) 以SQL Server数据库为例

  有的时候,尽管磁盘的IOPS(Disk Transfers/sec)还没有太大,但是发现数据库出现IO等待,为什么?通常是因为有了磁盘请求队列,有过多的IO请求堆积。

  磁盘的请求队列和繁忙程度,通过以下性能计数器查看:

  LogicalDisk/Avg.Disk Queue Length

  LogicalDisk/Current Disk Queue Length

  LogicalDisk/%Disk Time

  这种情况下,可以做的是:

  (1) 简化业务逻辑,减少IO请求数;

  (2) 同一个实例下的多个用户数据库,迁移到不同实例下;

  (3) 同一个数据库的日志、数据文件,分离到不同的存储单元;

  (4) 借助HA策略,做读写操作的分离。

  3. IOPS和吞吐量(throughput)

  (1) IOPS

  IOPS即每秒进行读写(I/O)操作的次数。在计算传送时间时,有提到:如果IO Chunk Size大的话,那么IOPS会变小,假设以100M为单位读写数据,那么IOPS就会很小。

  (2) 吞吐量(throughput)

  吞吐量指每秒可以读写的字节数。同样假设以100M为单位读写数据,尽管IOPS很小,但是每秒读写了N*100M的数据,吞吐量并不小。

  (3) 以SQL Server数据库为例

  对于OLTP的系统,经常读写小块数据,多为随机访问,用IOPS来衡量读写性能;

  对于数据仓库,日志文件,经常读写大块数据,多为顺序访问,用吞吐量来衡量读写性能。

  磁盘当前的IOPS,通过以下性能计数器查看:

  LogicalDisk/Disk Transfers/sec

  LogicalDisk/Disk Reads/sec

  LogicalDisk/Disk Writes/sec

  磁盘当前的吞吐量,通过以下性能计数器查看:

  LogicalDisk/Disk Bytes/sec

  LogicalDisk/Disk Read Bytes/sec

  LogicalDisk/Disk Write Bytes/sec

最新内容请见作者的GitHub页:http://qaseven.github.io/

时间: 2024-08-01 23:05:06

磁盘读写与数据库的关系的相关文章

在Node.js应用中读写Redis数据库的简单方法

  这篇文章主要介绍了在Node.js应用中读写Redis数据库的简单方法,Redis是一个内存式高速数据库,需要的朋友可以参考下 在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 -- node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 var redis = require("redis") ,

springmvc-Spring mvc与数据库的关系

问题描述 Spring mvc与数据库的关系 请问Spring MVC中的modal,view,controller中是怎么调用的,又怎么与数据库连接的? 解决方案 恩,所谓的mvc就是将model (模型,也可以理解成类的实例化对象) view(视图,通常是展示的) controller(控制)分离,好维护,解耦和. 在spring mvc 中 前台请求action 也就是控制器controller,然后controller对一系列逻辑处理.最后处理结束,返回指定的视图,也就是页面展示. 而你

数据库的关系理论-关于一个古代一夫多妻制的问题。

问题描述 关于一个古代一夫多妻制的问题. 一个丈夫对应多个妻子,一个妻子对应一个丈夫.请问妻子和丈夫的关系是什么?数据库的关系一对多,一对一,多对多.到底怎么解释这件事. 解决方案 一对多:一个丈夫有多个妻子,每一个妻子只能有一个丈夫. 一对一:一个丈夫只能有一个妻子,一个妻子只能有一个丈夫. 多对多:丈夫可以有多个妻子,妻子可以有多个丈夫.

mysql-急求:java代码如何实现MySQL数据库的读写(数据库里面有很多表)?谢谢??

问题描述 急求:java代码如何实现MySQL数据库的读写(数据库里面有很多表)?谢谢?? java代码如何实现MySQL数据库的读写(数据库里面有很多表)?在一个程序中可以实现所有数据库中的表都可以进行读写 解决方案 在程序中导入jdbc,数据库驱动的jar包,可以使用JDBC操作数据库,到后面的话,如果接触到连接池,就可以代替下面的代码了.因为连接池还是很方便的.记得要改成你自己的数据库,还有用户名,密码.及sql语句. package cn.itcast.jdbc; import java

深入探讨:oracle中方案的概念以及方案与数据库的关系_oracle

首先先理解方案的概念,然后再理解方案与数据库的关系. 先来看一下他们的定义: 复制代码 代码如下: A schema is a collection of database objects (used by a user.). Schema objects are the logical structures that directly refer to the database's data. A user is a name defined in the database that can

问一下EC2使用量比如磁盘读写次数之类的东西,在哪看呢?

问题描述 问一下EC2使用量比如磁盘读写次数之类的东西,在哪看呢? 解决方案 解决方案二: 解决方案三:cloudwatch

Python读写Redis数据库操作示例_python

使用Python如何操作Redis呢?下面用实例来说明用Python读写Redis数据库.比如,我们插入一条数据,如下: 复制代码 代码如下: import redis class Database:      def __init__(self):          self.host = 'localhost'          self.port = 6379      def write(self,website,city,year,month,day,deal_number):    

SQLObject 1.1.3发布 Python数据库对象关系映射

SQLObject是一个Python数据库对象关系映射.例如:一个库将在Python类中包裹你的数据库表.目前通过MySQLdb包支持MySQL,通过psycopg包支持PostgreSQL,SQLite,Firebird,MaxDB (SAP DB),MS SQL和Sybase.也支持Python 2.4版本. SQLObject 1.1.3版本修复了http://www.aliyun.com/zixun/aggregation/14171.html">Postgres中的bug. 范例

UNIX内核(3):磁盘读写以及磁盘缓冲的利弊

原文转自:http://blog.chinaunix.net/uid-7471615-id-83762.html "UNIX内核(2):磁盘缓冲原理,缓冲分配.回收及用OO观点建模"对UNIX磁盘缓冲的分配回收做了大致的说明,并给出了一些代码范例.本文将对磁盘的读写以及使用磁盘缓冲的利弊进行一下简要说明. 读取磁盘块 为了读取一个磁盘块,进程需要调用getblk来获取缓冲.如果能在hash Q上找到该缓冲,那么内核就能够立刻获得数据.否则,内核将向磁盘驱动提交一个读请求并且休眠,直到数