linux系统下分割大文件的方法

   在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取。

  有时,需要传输20gb的大文件到另一台服务器,也需要把它分割成多个文件,这样便于传输数据。

  以下通过五个不同的例子,来讲解Linux下分割大文件的方法,供大家参考。

  例1、以每个文件1000行分割

  split命令分割文件成每个文件1000行,并且文件名依次为 [前缀]aa, [前缀]ab, [前缀]ac等,默认的前缀是X,每个文件的行数为1000行。

  命令:

  代码如下:

  $ split mylog -l 1000

  $ wc -l *

  4450 mylog

  1000 xaa

  1000 xab

  1000 xac

  1000 xad

  450 xae

  例2、以每个文件20MB分割

  分割文件为多个20MB的文件,附带-b选项。

  命令:

  代码如下:

  $ split -b 20M logdata

  $ ls -lh | tail -n +2

  -rw------- 1 sathiya sathiya 102M Jul 25 18:47 logdata

  -rw------- 1 sathiya sathiya 20M Jul 25 19:20 xaa

  -rw------- 1 sathiya sathiya 20M Jul 25 19:20 xab

  -rw------- 1 sathiya sathiya 20M Jul 25 19:20 xac

  -rw------- 1 sathiya sathiya 20M Jul 25 19:20 xad

  -rw------- 1 sathiya sathiya 20M Jul 25 19:20 xae

  -rw------- 1 sathiya sathiya 1.6M Jul 25 19:20 xaf

  例3、以每个文件50MB指定前缀分割

  使用–bytes选项把文件分割成多个50MB的文件,–bytes类似-b选项,在第二个参数指定前缀。

  命令:

  代码如下:

  $ split --bytes=50M logdata mydatafile

  $ ls -lh

  total 204M

  -rw------- 1 sathiya sathiya 102M Jul 25 18:47 logdata

  -rw------- 1 sathiya sathiya 50M Jul 25 19:23 mydatafileaa

  -rw------- 1 sathiya sathiya 50M Jul 25 19:23 mydatafileab

  -rw------- 1 sathiya sathiya 1.6M Jul 25 19:23 mydatafileac

  例4、基于行数分割文件

  使用-l选项指定行数来把文件分割成多个行数相同的文件。

  命令:

  代码如下:

  $ wc -l testfile

  2591 testfile

  $ split -l 1500 testfile importantlog

  $ wc -l *

  1500 importantlogaa

  1091 importantlogab

  2591 testfile

  例5、以数字后缀命名分割文件

  使用-d选项可以指定后缀为数字,如00,01,02..,而不是aa,ab,ac。

  命令:

  代码如下:

  $ split -d testfile

  $ ls

  testfile x00 x01 x02

  可用选项

  代码如下:

  短选项 长选项 选项描述

  -b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。

  -C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。

  -d –numeric-suffixes 使用数字作为后缀。

  -l –lines=NUMBER NUMBER 值为每一输出档的列数大小。

短选项 长选项 选项描述

  -b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。

  -C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。

  -d –numeric-suffixes 使用数字作为后缀。

  -l –lines=NUMBER NUMBER 值为每一输出档的列数大小。

时间: 2025-01-01 16:42:10

linux系统下分割大文件的方法的相关文章

Linux系统找出大文件的方法

  du -s /home/* | sort -nr 也可以用find,查找大于200M的文件并显示详细信息 find . -size +100000000c -exec ls -lh {} ;

Mac OS X 系统下修改 hosts 文件的方法

  osts 文件,相当于一个网址-ip 列表,大概相当于本机 DNS.修改苹果电脑上的 hosts 文件,就可以访问部分被和谐的网站,或者拦截某些站点(比如软件商的正版验证),或者强制从某个 ip 下载文件,等等等等.下面介绍苹果电脑 Mac OS X 系统下修改 hosts 文件的方法,非常简单,而且不用安装第三方软件. 方法一: (注意,该方法最基础,但相对麻烦.不想了解原理的用户可以直接跳到下方看更方便直接的方法二) Hosts 文件位于苹果电脑的 /private/etc/hosts

linux基础-求助大牛,linux系统下动态链接文件出错???

问题描述 求助大牛,linux系统下动态链接文件出错??? 有个linux下的应用程序,在centos5.8下正常运行,但是放到centos6.3-64bit 的就出现错误,错误代码是:error while loading shared libraries: libgcc_s.so.1: cannot open shared object file: No such file or directory 大牛们我该如何查找错误点?怎么解决这个问题..非常感谢!!!我的QQ:1602710388.

Linux系统下无法访问mysql解决方法

  mysql是一个关系型数据库管理系统,但最近有用户反映,在Linux系统下无法访问mysql,相信不少用户都有遇到过这个问题,这是怎么回事呢?Linux系统下无法访问mysql该怎么办呢?下面我们一起来看看解决方法. 1.问题及异常 ThreadPoolAsynchronousRunner - com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@75d634ea -- APPARENT DEADLOCK!!!

Linux系统下卸载USB设备的方法

Linux系统下通常都会自动挂载USB设备,如果没有自动挂载的话就需要自己手动挂载USB设备了,那么Linux下要如何挂载USB设备呢?不需要的时候又要如何卸载呢?一起来了解下吧. 在挂载之前需要确定下列三种信息 1.要挂载对象的文件系统类型 2.要挂载对象的设备名称 3.确定挂载点 挂载时使用mount命令: 格式:mount [-参数] [设备名称] [挂载点] 我们常见的USB设备格式是:FAT32格式.NFTS格式等. ext2 linux目前常用的文件系统 msdos MS-DOS的f

Linux系统下卸载SureHA软件的方法

Linux系统下卸载SureHA软件的步骤如下:   1.运行chkconfig --list |grep sureha确认服务状态,如下图:     2.以root账户在命令行下顺序执行以下命令:   chkconfig --del surehacluster_alertsync   chkconfig --del surehacluster_webmgr   chkconfig --del surehacluster   chkconfig --del surehacluster_md  

查找Linux系统中的大文件和大目录方法

  查找大文件 eg:查找当前目录下大于10MB的文件 代码如下: $ find . -type f -size +10000k -exec ls -lh {} ; | awk '{ print $8 ": " $5 }' Sample output: ./.kde/share/apps/akregator/Archive/http___blogs.msdn.com_MainFeed.aspx?Type=AllBlogs.mk4: 91M ./out/out.tar.gz: 828M

Linux C 下的大文件操作

这里说的大文件指大小超过4G的文件. 在32位环境下,linux默认打开.读.写超过4G的文件会返回错误.定义如下宏可以突破这个限制,对read/write和fread/fwrite同时有效. 注意它必须定义在所有头文件之前. #ifndef _FILE_OFFSET_BITS #define _FILE_OFFSET_BITS 64 #endif   或者在编译时添加如下参数: -D_FILE_OFFSET_BITS=64-D_LARGEFILE_SOURCE  或者使用函数fopen64,但

详解Linux系统下的hosts文件

  hosts文件 hosts -- the static table lookup for host name(主机名查询静态表). hosts文件是Linux系统上一个负责ip地址与域名快速解析的文件,以ascii格式保存在/etc/目录下.hosts文件包含了ip地址与主机名之间的映射,还包括主机的别名.在没有域名解析服务器的情况下,系统上的所有网络程序都通过查询该文件来解析对应于某个主机名的ip地址,否则就需要使用dns服务程序来解决.通过可以将常用的域名和ip地址映射加入到hosts文