在Linux中分割和重组文件

非常有用的 csplit 命令可以将单个文件分割成多个文件。Carla Schroder 解释说。

Linux 有几个用于分割文件的工具程序。那么你为什么要分割文件呢?一个用例是将大文件分割成更小的尺寸,以便它适用于比较小的存储介质,比如 U 盘。当您遇到 FAT32(最大文件大小为 4GB),且您的文件大于此时,通过 U 盘传输文件也是一个很好的技巧。另一个用例是加速网络文件传输,因为小文件的并行传输通常更快。

我们将学习如何使用 csplit,split 和 cat 来重新整理文件,然后再将文件合并在一起。这些操作在任何文件类型下都有用:文本、图片、音频文件、ISO 镜像文件等。

使用 csplit 分割文件

csplit 是这些有趣的小命令中的一个,它永远伴你左右,一旦开始用它就离不开了。csplit 将单个文件分割成多个文件。这个示例演示了最简单的使用方法,它将文件 foo.txt 分为三个文件,以行号 17 和 33 作为分割点:


  1. $ csplit foo.txt 17 33 
  2. 2591 
  3. 3889 
  4. 2359 

csplit 在当前目录下创建了三个新文件,并以字节为单位打印出新文件的大小。默认情况下,每个新文件名为 xx_nn:


  1. $ ls 
  2. xx00 
  3. xx01 
  4. xx02 

您可以使用 head 命令查看每个新文件的前十行:


  1. $ head xx* 
  2. ==> xx00 <== 
  3. Foo File 
  4. by Carla Schroder 
  5. Foo text 
  6. Foo subheading 
  7. More foo text 
  8. ==> xx01 <== 
  9. Foo text 
  10. Foo subheading 
  11. More foo text 
  12. ==> xx02 <== 
  13. Foo text 
  14. Foo subheading 
  15. More foo text 

如果要将文件分割成包含相同行数的多个文件怎么办?可以指定行数,然后将重复次数放在在花括号中。此示例重复分割 4 次,并将剩下的转储到最后一个文件中:


  1. $ csplit foo.txt 5 {4} 
  2. 57 
  3. 1488 
  4. 249 
  5. 1866 
  6. 3798 

您可以使用星号通配符来告诉 csplit 尽可能多地重复分割。这听起来很酷,但是如果文件不能等分,则可能会失败(LCTT 译注:低版本的 csplit 不支持此参数):


  1. $ csplit foo.txt 10 {*} 
  2. 1545 
  3. 2115 
  4. 1848 
  5. 1901 
  6. csplit: '10': line number out of range on repetition 4 
  7. 1430 

默认的行为是删除发生错误时的输出文件。你可以用 -k 选项来解决这个问题,当有错误时,它就不会删除输出文件。另一个行为是每次运行 csplit 时,它将覆盖之前创建的文件,所以你需要使用新的文件名来分别保存它们。使用 --prefix= _prefix_ 来设置一个不同的文件前缀:


  1. $ csplit -k --prefix=mine foo.txt 5 {*}   
  2. 57 
  3. 1488 
  4. 249 
  5. 1866 
  6. 993 
  7. csplit: '5': line number out of range on repetition 9 
  8. 437 
  9. $ ls 
  10. mine00 
  11. mine01 
  12. mine02 
  13. mine03  
  14. mine04 
  15. mine05 

选项 -n 可用于改变对文件进行编号的数字位数(默认是 2 位):


  1. $ csplit -n 3 --prefix=mine foo.txt 5 {4} 
  2. 57 
  3. 1488 
  4. 249 
  5. 1866 
  6. 1381 
  7. 3798 
  8. $ ls 
  9. mine000 
  10. mine001 
  11. mine002 
  12. mine003 
  13. mine004 
  14. mine005 

csplit 中的 “c” 是上下文(context)的意思。这意味着你可以根据任意匹配的方式或者巧妙的正则表达式来分割文件。下面的例子将文件分为两部分。第一个文件在包含第一次出现 “fie” 的前一行处结束,第二个文件则以包含 “fie” 的行开头。


  1. $ csplit foo.txt /fie/ 

在每次出现 “fie” 时分割文件:


  1. $ csplit foo.txt /fie/ {*} 

在 “fie” 前五次出现的地方分割文件:


  1. $ csplit foo.txt /fie/ {5} 

仅当内容以包含 “fie” 的行开始时才复制,并且省略前面的所有内容:


  1. $ csplit myfile %fie% 

将文件分割成不同大小

split 与 csplit 类似。它将文件分割成特定的大小,当您将大文件分割成小的多媒体文件或者使用网络传送时,这就非常棒了。默认的大小为 1000 行:


  1. $ split foo.mv 
  2. $ ls -hl 
  3. 266K Aug 21 16:58 xaa 
  4. 267K Aug 21 16:58 xab 
  5. 315K Aug 21 16:58 xac 
  6. [...] 

它们分割出来的大小相似,但你可以指定任何你想要的大小。这个例子中是 20M 字节:


  1. $ split -b 20M foo.mv 

尺寸单位缩写为 K,M,G,T,P,E,Z,Y(1024 的幂)或者 KB,MB,GB 等等(1000 的幂)。

为文件名选择你自己的前缀和后缀:


  1. $ split -a 3 --numeric-suffixes=9 --additional-suffix=mine foo.mv SB 
  2. 240K Aug 21 17:44 SB009mine 
  3. 214K Aug 21 17:44 SB010mine 
  4. 220K Aug 21 17:44 SB011mine 

-a 选项控制编号的数字位置。--numeric-suffixes 设置编号的开始值。默认前缀为 x,你也可以通过在文件名后输入它来设置一个不同的前缀。

将分割后的文件合并

你可能想在某个时候重组你的文件。常用的 cat 命令就用在这里:


  1. $ cat SB0* > foo2.txt 

示例中的星号通配符将匹配到所有以 SB0 开头的文件,这可能不会得到您想要的结果。您可以使用问号通配符进行更精确的匹配,每个字符使用一个问号:


  1. $ cat SB0?????? > foo2.txt 

和往常一样,请查阅相关的手册和信息页面以获取完整的命令选项。

作者:Carla Schroder

来源:51CTO

时间: 2024-08-02 18:39:13

在Linux中分割和重组文件的相关文章

linux下分割和重组文件

    linux shell命令里的split和cat命令可以轻松完成这两个功能,举个例子来说,比如一个1GB大小的文件foo.zip,以100M为块分割:     分割: split -b 100M -d foo.zip foo.zip.     重组: cat foo.zip.?? > foo_same.zip 注意 -b中的 100M和100MB是有区别的,按照man的说法: -b, --bytes=SIZE               put SIZE bytes per output

Linux中误删除了某个文件后从进程相关的文件描述中恢复数据

在Linux中误删除了某个文件,但是 ps-ef|grep 文件名 发现某个进程还在使用该文件,那么可以通 过以下方式恢复文件. 例如: 创建一个简单文件/tmp/test.txt, 随便向里面写点内容 两个client模拟,client1 负责打开文件less /tmp/test.txt(模拟占用线程) client2 负责恢复文件 恢复步骤(均在client2上执行) 1. 查看/tmp/test.txt被占用的进程id [root@host tmp]# ps -ef|grep test.t

Linux中查找当前目录下文件并更改扩展名

Linux中查找当前目录下文件并更改扩展名? 更改所有.gz文件为.aa# find ./ -http://www.aliyun.com/zixun/aggregation/11696.html">name "*.gz" -exec rename .gz .aa '{}' \; 示例: 执行命令之前的结果 [root@localhost software]# ll 总用量 84692  -rw-r--r--. 1 root root 13587692 6月  19 16

Linux中如何使用md5sum文件

Linux中如何使用md5sum文件? md5sum isofile > hashfilemd5sum文件与hashfile文件的内容比对,验证hash值是否一致md5sum –c hashfile

Linux中/proc目录下文件

  /proc文件系统下的多种文件提供的系统信息不是针对某个特定进程的,而是能够在整个系统范围的上下文中使用.可以使用的文件随系统配置的变化而变化.命令procinfo能够显示基于其中某些文件的多种系统信息.以下详细描述/proc下的文件. /proc/cmdline文件 这个文件给出了内核启动的命令行.它和用于进程的cmdline项非常相似. 示例: [root@localhost proc]# cat cmdline ro root=LABEL=/ rhgb quiet ----------

诠释 Linux 中“一切都是文件”概念和相应的文件类型

Linux 系统中一切都是文件并有相应的文件类型 在 Unix 和它衍生的比如 Linux 系统中,一切都可以看做文件.虽然它仅仅只是一个泛泛的概念,但这是事实.如果有不是文件的,那它一定是正运行的进程. 要理解这点,可以举个例子,您的根目录(/)的空间充斥着不同类型的 Linux 文件.当您创建一个文件或向系统传输一个文件时,它会在物理磁盘上占据的一些空间,而且是一个特定的格式(文件类型). 虽然 Linux 系统中文件和目录没有什么不同,但目录还有一个重要的功能,那就是有结构性的分组存储其它

Linux中/proc目录下文件有什么用

/proc文件系统下的多种文件提供的系统信息不是针对某个特定进程的,而是能够在整个系统范围的上下文中使用.可以 使用的文件随系统配置的变化而变化.命令procinfo能够显示基于其中某些文件的多种系统信息.以下详细描述/proc下的 文件. -------------------------------------------------------------------------------- /proc/cmdline文件 这个文件给出了内核启动的命令行.它和用于进程的cmdline项非

详解Linux中查找目录和文件的find和locate命令

  find find 路径 -命令参数 [输出形式] 参数说明: 路径:告诉find在哪儿去找你要的东西, 命令参数:参数很多下面会说到 输出形式:输出形式很多,-print,-printf,-print0,-exec,-ok,-ls反正很多自己看手册吧. 说一下exec, -exec find命令对匹配的文件执行该参数所给出的其他linux命令.相应命令的形式为' 命令 - and' {} ;,注意{ }和;之间的空格. -ok 和- exec的作用相同,只不过和会人交互而已,OK执行前会向

linux中查看和修改文件时间的命令

linux下文件时间主要有下面三种: 1.1 modification time(mtime) 文件修改时间,即文件内容的修改时,更新这个时间,不包括文件权限和属性的修改.使用ls -l查看,默认显示时间为mtime $ ls -l uconv.h -rw-rw-r--  1 work work 1808 Jul 23  2013 uconv.h 1.2 status time(ctime) 文件状态status的修改时间,如文件的权限和属性修改时更新这个时间.使用 ls --time=ctim