大话存储系列20——数据存储与数据管理综述

存储系统又两大部分内容:数据存储 和 数据管理。

数据存储包括:存储控制器硬件、磁盘、适配器、网络传输通道、RAID管理、LUN管理等,这部分主要功能就是提供基本的裸数据存储服务;

数据管理包括:Tier、Snapshot、Clone等数据处理模块。

存储系统实时监控物理空间使用情况,一旦所有用户整体空间消耗达到临界值,则需要马上扩大物理容量。然而,对于空间使用率的监控方面,如果存储系统为NAS系统,提供的是一个基于文件协议的卷共享,则存储系统本身就可以很容易地监控存储空间的真实耗费情况,因为NAS系统是自己来维护文件与物理空间对应关系的。

但是如果存储系统提供的是一个基于Block协议访问的空间,比如FC或者iSCSI协议的LUN,则存储系统所监控到的这个LUN在物理磁盘上所占用的空间使用率很大程度上是伪造的,存储系统所检测到的占用率永远大于其实际占用率,其原因是因为存储系统自身一般不能感知到这个LUN中文件系统中的实际文件所占用的空间,只有客户端主机才能看到,一种极端的情况:如果在使用这个LUN的客户端主机上曾经将数据塞满这个LUN但是随后由删除掉了,那么存储系统所看到的这个LUN的使用率永远为100%,而实际上是0.

从技术角度讲,存储系统想要监控LUN之内的实际数据使用率也不是什么难题,只要能够感知其上的文件系统逻辑即可查到,我们将会在随后详细描述。。。

好吧,我们接下来看一下存储系统对LUN实际占用空间的检测,可以选择简单模式、复杂模式和完美模式三种,我们分别通过介绍着三种模式,体会一下存储系统对LUN的检测效果:

简单模式:系统记录一个High Water Mark(高水位线),目标LUN曾经接收到的写IO所对应的LBA地址最长(最远)的那个,利用这个HWM来判断目标LUN实际占用的空间。比如一开始存储系统创建了一个大小为1TB的LUN,但是由于Thin Provisioning模式,这个LUN刚被创建的时候事不占用存储系统的物理空间的,系统只是记录一下,假设第一个IO就是向这个LUN的最后一个LBA地址写入数据,那么存储系统就会去判断是否已经超过了当前已经使用的最大的LBA地址,那么系统就会再分配一段物理空间给这个LUN。

复杂模式:系统可以识别简单模式不能识别到的信息,要识别出当前LUN真正需要的物理空间,就需要记录更多的信息,比如LUN中哪些地址被写过,哪些尚未被写过,而记录这种信息的最佳手段就是Bitmap,Bitmap中的每个bit可以表示一个BLock(或称Page,比如4KB、16KB大小),如果需要写数据,就把对应的位置1,系统分配物理空间给这个LUN,更新LUN的Metadata,然后将数据写入对应的BLOCK。但是这样还不是完美的模式,因为这个LUN之上还有一层论及在做映射,也就是文件系统(或者其他程序自身管理的数据映射机制),总是文件系统里把这个LUN中的文件数据删除,但是对于存储系统来说,它根本感知不到文件逻辑,所以此时这些被删除的文件依然占用物理的空间。

1、Thin Provision/Over Allocation(瘦供)

可以翻译成 “超供”,更合适一点,具体见我自己整理的这篇博客吧:http://blog.csdn.net/changyanmanman/article/details/8395527

时间: 2024-11-18 08:25:27

大话存储系列20——数据存储与数据管理综述的相关文章

大话存储系列19——数据容灾

数据备份系统只能保证数据被安全地复制了一份,但是一旦生产系统发生故障,比如服务器磁盘损坏致使数据无法读写.主板损坏造成直接无法开机或者机房火灾等意外事件,我们必须将备份的数据尽快地恢复到生产系统中继续生产,这个动作就叫做容灾. 容灾可以分为四个级别: 数据级容灾:也就是只考虑将生产站点的数据如何同步 到远程站点即可. 与应用结合的数据级容灾:也就是可以保证对应应用程序数据一致性的数据同步,以及可感知应用层数据结构的.有选择的同步部分关键重要数据的数据容灾: 应用级容灾:也就是灾难发生时,不仅可以

大话存储系列1——对存储的初步认识

这篇文章转载自大牛Hellodba,连接如下:http://www.hellodb.net/2009/08/storage.html 那这篇文章开始我的存储之旅,我将会在近期整理出关于存储的更多细节. IOPS IOPS (Input/Output Operations Per Second),即每秒进行读写(I/O)操作的次数,多用于数据库等场合,衡量随机访问的性能.存储端的IOPS性能和主机端的IO是不同的,IOPS是指存储每秒可接受多少次主机发出的访问,主机的一次IO需要多次访问存储才可以

大话存储系列13——对象存储

1. 对象存储系统(Object-Based Storage System)是综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势,提供了高可靠性.跨平台性以及安全的数据共享的存储体系结构. 传统块存储与对象存储结构对比示意图: 对象存储系统组成 对象(Object) 包含了文件数据以及相关的属性信息,可以进行自我管理 OSD(Object-based Storage Device) 一个智能设备,是Object的集合 文件系统 文件系统运行在客户端上,将应用程序的文

云存储将成为数据存储未来发展方向

在云计算浪潮之下,新的存储技术--云存储,日益成为数据存储未来发展方向,随着社会的发展和科技的进步,特别是计算机和网络的飞速发展,人们对信息数据存取的大容量.便捷.可靠性要求越来越高.有分析认为,尽管云存储的发展目前仍受到一定的局限,但未来一到两年,云存储的市场空间将会放大. 云存储是云计算的重要应用,是指将团队或个人的文件或数据集中存储在数据中心而非本地,并按照实际使用进行付费的技术.广义来说还包括存储基础上提供的文件管理服务,即存储+"操作系统".目前,云存储按不同的分类标准可以分

大话存储系列19——数据备份与恢复 下

4.卷克隆(Clone) 克隆是指源数据集某时间点的一份或者几份实实在在的实体复制,利用快照做克隆:首先对某个源数据集(源卷或者源文件系统)创建一份快照,之后将这份快照执行的所有数据块阯出来到一个额外的存储空间,这样,被复制出来的所有数据就组成了源数据集在那个时刻的一个克隆实体. 历史是不能回过头去改变的,但是快照却是可写的(以前我一直以为快照时只读的),其实可写的Snapshot也只不过是对指针的处理而已,即系统增加了一个RoFW数据映射表,比如存储系统将Snapshot也只不过是对指针的处理

大话存储系列18——数据备份与恢复

备份一般会有文件级的备份,还有块级的备份两种,我们接下来先简要了解一下这两种备份的区别. 文件级备份:备份软件只能感知到文件这一层,将磁盘上的所有文件,通过调用文件系统的接口备份到另一个介质上,所以文件级备份软件,要么依靠操作系统提供的API来备份,要么本身具有文件系统的功能,可以识别文件系统元数据.其机制就是将数据以文件的形势独处,然后在将独处的文件存储在另外一个介质上.这些文件在原来的介质上存放可以使不连续的,各个不连续的块之间的链关系由文件系统来管理.如果备份软件将这些文件备份到新的空白介

大话无线客户端安全之数据存储安全——Android篇

1 前言        随着无线客户端的火热发展,大家往往将所关注的重点放到了业务本身上,而忽视了安全问题.但是随着近年来各种层出不穷的与客户端相关的攻击事件以及安全漏洞的曝出,客户端安全已经不容忽视,忽视了安全必将会受到安全的惩罚.        而在各种安全之中数据安全更是重中之重,毫不夸张的说数据安全可以说是无线客户端安全的灵魂.用户的重要数据一旦损失掉,将会对应用乃至企业造成巨大的负面影响.例如去年发生的CSDN的用户名密码泄露事件:和无线客户端相关的有Skype Android版的用户

《大数据管理概论》一3.2 大数据存储与管理方法

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.2节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.2 大数据存储与管理方法 闪存.PCM等新型存储介质的引入使得大数据存储架构有了多种选择.但由于新型存储介质在价格.寿命等方面与传统的磁盘相比不具优势,因此目前主流的观点是在大数据存储系统中同时使用新型存储介质和传统存储介质,由此产生了多种基于新型存储的大数据存储架构,如基于PCM的主存架构.基于闪存的主存扩展架构.基于多存储介质的分层存储架构

android数据存储之文件存储方法_Android

文件存储是 Android 中最基本的一种数据存储方式,它不对存储的内容进行任何的格式化处理,所有数据都是原封不动的保存到文件当中的. 概述 文件存取的核心就是输入流和输出流. Android文件的操作模式 文件的相关操作方法 文件读写的实现 openFileOutput和openFileInput方法 /** * openFIleOutput ,openFileInput * 这两种方法同sp一样只能讲文件保存到手机内存固定的路径中, * 默认为 /data/data/<packageName