存储那些事儿(二): 下一代Linux文件系统BTRFS简介

    BTRFS,通常念成 Butter FS,Better FS 或B-tree FS。下一代的Linux文件系统。

    它基于写时拷贝(copy-on-write),支持高效的snapshot和clone。它使用b-tree作为存储的数据结构。在BTRFS项目主页上对自己是这么描述的:"一个新的针对Linux的写时复制文件系统,致力于实施高级的功能,同时关注容错、修复和管理方便性。"

   它有哪些高级功能呢?下面的feature来自BTRFS的项目主页:http://btrfs.wiki.kernel.org/   

  • Extent based file storage #扩展了
  • 2^64 byte == 16 EiB maximum file size #支持16EB的文件大小, 1PB = 1024 TB, 1EB = 1024 PB
  • Space-efficient packing of small files   #高效支持小文件, 通过inline files实现的
  • Space-efficient indexed directories       #高效的目录索引
  • Dynamic inode allocation                       #动态inode分配。我们知道,传统Linux文件系统的inode格式化好后inode的节点数就确定了,也就是说文件系统的文件数确定
  • Writable snapshots, read-only snapshots  #支持可读,可写的快照
  • Subvolumes (separate internal filesystem roots)  #支持subvolumes,可以理解成在文件系统上创建子的文件系统,方便用户的权限控制
  • Checksums on data and metadata (crc32c)    #支持数据和元数据的检验,保证数据的正确性
  • Compression (zlib and LZO)                               #支持在线压缩
  • Integrated multiple device support                     #多设备支持
    • File Striping, File Mirroring, File Striping+Mirroring, Striping with Single and Dual Parity implementations
  • SSD (Flash storage) awareness (TRIM/Discard for reporting free blocks for reuse) and optimizations (e.g. avoiding unnecessary seek optimizations, sending writes in clusters, even if they are from unrelated files. This results in larger write operations and faster write throughput)
  • Efficient Incremental Backup  #高效的增量备份
  • Background scrub process for finding and fixing errors on files with redundant copies #后台进程自动检测并修复错误
  • Online filesystem defragmentation   #在线的文件系统碎片管理
  • Offline filesystem check#离线的文件系统检查
  • Conversion of existing ext3/4 file systems #ext3/4文件系统的转换
  • Seed devices. Create a (readonly) filesystem that acts as a template to seed other Btrfs filesystems. The original filesystem and devices are included as a readonly starting point for the new filesystem. Using copy on write, all modifications are stored on different devices; the original is unchanged.
  • Subvolume-aware quota support#支持subvolume配额,就是支持subvolume的大小限制设定
  • Send/receive of subvolume changes
    • Efficient incremental filesystem mirroring
  • Batch, or out-of-band deduplication (happens after writes, not during) #支持写后的数据消重

以下这些features正在开发,或者计划中:

  • Very fast offline filesystem check   #快速离线文件系统检查
  • Object-level mirroring and striping #对象级别的镜像和条带
  • Alternative checksum algorithms    #可选择的校验算法
  • Online filesystem check    #在线文件系统检查
  • Other compression methods (snappy, lz4)   #其他的压缩算法
  • Hot data tracking and moving to faster devices (currently being pushed as a generic feature available through VFS): 热数据转移到更快的设备上,比如SSD
  • In-band deduplication (happens during writes)   #支持写时数据消重

    既然BTRFS的目标是下一代的Linux文件系统,那么它不单单能作为智能手持设备的文件系统,还能作为企业生产环境下的文件系统。它需要能搭建在众多的硬件平台上。

    BTRFS的实现视图可以看成需要btree构成的一个森林,使用copy-on-write(COW,写时复制)作为更新的方法。硬盘的block以extent的形式被管理。

    这篇文章作为该系列文章的开篇,简单的介绍一下BTRFS。接下来的文章我讲更详细的去分享这些feature的具体实现。敬请期待!


尊重原创,转载请注明出处 anzhsoft: http://blog.csdn.net/anzhsoft/article/details/20359531

时间: 2024-08-03 17:51:56

存储那些事儿(二): 下一代Linux文件系统BTRFS简介的相关文章

Linux入门基础(二) Linux文件系统基本结构

Linux文件系统为一个倒置的树状结构,所有文件或文件夹均包含在一个根目录"/"中. Linux系统严格区分大小写,名称最多255个字符 除正斜线外都是有效字符 每一个Shell都有一个当前的工作目录,通过命令pwd(print work directory)可以查看当前工作目录 touch命令:创建一个空白文件或者更新已有文件的(最后一次修改)时间 以.开头的文件为隐藏文件,隐藏文件绝大部分是配置文件 命令"ls"可以列出当前目录信息,支持以下参数: ls -a

存储那些事儿(五):BTRFS文件系统之Btree结构详解

   Btree数据结构可以说是BTRFS文件系统的基础.它提供了一个通用的方式去存储不同的数据类型.它仅仅存储3个数据类型:key, item和block header.    btrfs_header的定义如下: struct btrfs_header { u8 csum[32]; u8 fsid[16]; __le64 blocknr; __le64 flags; u8 chunk_tree_uid[16]; __le64 generation; __le64 owner; __le32

Linux文件系统及常用命令

Linux文件系统介绍: 一 .Linux文件结构 文件结构是文件存放在磁盘等存贮设备上的组织方法.主要体现在对文件和目录的组织上.目录提供了管理文件的一个方便而有效的途径. Linux使用树状目录结构,在安装的时候,安装程序已经为用户创建了文件系统和完整而固定的目录组成形式,并指定了每个目录的作用和其中的文件类型.                                                               ┃  /根目录 ┏━━┳━━━┳━━━┳━━━╋━━━┳

存储那些事儿(五) BTRFS文件系统之Btree结构详解

Btree数据结构可以说是BTRFS文件系统的基础.它提供了一个通用的方式去存储不同的数据类型.它仅仅存储3个数据类型:key, item和block header. btrfs_header的定义如下: struct btrfs_header { u8 csum[32]; u8 fsid[16]; __le64 blocknr; __le64 flags; u8 chunk_tree_uid[16]; __le64 generation; __le64 owner; __le32 nritem

linux文件系统(二)——VFS四个主要对象的实现

声明:本Linux文件系统博客,共分四节,是根据网上多个相关博客,以及自己的理解加上相关资料总结而成.(作者:lvyilong316) VFS采用的是面向对象的设计思想,使用一簇数据结构来代表通用文件对象.所有内核中的数据结构都使用C结构体实现. 1.superblock(超级块)对象 保存一个挂在的文件系统的相关信息(Stores information concerning a mounted filesystem. For disk-based filesystems, this obje

《自己动手写Docker》书摘之二: Linux Cgroups

Linux Cgroups介绍 上面是构建Linux容器的namespace技术,它帮进程隔离出自己单独的空间,但Docker又是怎么限制每个空间的大小,保证他们不会互相争抢呢?那么就要用到Linux的Cgroups技术. 概念 Linux Cgroups(Control Groups) 提供了对一组进程及将来的子进程的资源的限制,控制和统计的能力,这些资源包括CPU,内存,存储,网络等.通过Cgroups,可以方便的限制某个进程的资源占用,并且可以实时的监控进程的监控和统计信息.  Cgrou

XFS:大数据环境下Linux文件系统的未来

本文讲的是XFS:大数据环境下Linux文件系统的未来,Linux有好多种件系统,但往往最受关注的是其中两种:ext4和btrfs.XFS开发者Dave Chinner近日声称,他认为更多的用户应当考虑XFS.他谈到了为了解决XFS中最严重的可扩展性问题所做的工作,还谈到了他认为将来的发展走向.如果他说的一点都没错,接下来几年我们在XFS方面有望看到更多的动静. XFS经常被认为是适合拥有海量数据的用户的文件系统.Dave表示,XFS非常适合扮演这个角色;它对许多工作负载而言向来表现不俗.以前往

linux文件系统初始化过程(2)---挂载rootfs文件系统

一.目的     本文主要讲述linux3.10文件系统初始化过程的第一阶段:挂载rootfs文件系统.     rootfs是基于内存的文件系统,所有操作都在内存中完成:也没有实际的存储设备,所以不需要设备驱动程序的参与.基于以上原因,linux在启动阶段使用rootfs文件系统,当磁盘驱动程序和磁盘文件系统成功加载后,linux系统会将系统根目录从rootfs切换到磁盘文件系统.   二.主要函数调用过程     图1描述了挂载rootfs的函数调用关系(图中红色部分),便于后面的分析.  

kernel学习:分层方法讨论linux文件系统

文件系统是对一个存储设备上的数据和元数据进行组织的机制. Linux 文件系统接口实现为分层的体系结构,从而将用户接口层.文件系统实现和操作存储设备的驱动程序分隔开.另一种看待文件系统的方式是把它看作一个协议.网络协议(比如 IP)规定了互联网上传输的数据流的意义,同样,文件系统会给出特定存储媒体上数据的意义. Linux 文件系统体系结构是一个对复杂系统进行抽象化的有趣例子.通过使用一组通用的 API 函数,Linux 可以在许多种存储设备上支持许多种文件系统.例如,read 函数调用可以从指