linux下文件合并、分割、去重

1.文件合并

 1.1文件上下合并

　　cat f1 f2> muti  (将文件f1、f2合并成文件muti，f1在上，f2在下)

1.2左右合并

　　paste f1 f2 > muti  (将文件f1、f2合并成文件muti，f1在左，f2在右，默认使用tab键隔开)

 

2.文件分割

2.1按行数分割

　　split -l 5 file (将文件file进行分割，每个分割后的小文件，行数不大于5)

2.2按大小切割

　　spilt -C 20M file (将文件file进行分割，每个分割后的文件最大为20M)

 

3.文件去重

3.1 可以使用sort命令

　　sort -u mm(对mm文件进行排序，重复的行只取一次)

　　

 

时间： 2024-09-20 09:38:31

linux下文件合并、分割、去重的相关文章

linux下用cronolog分割apache日志

linux下用cronolog分割apache日志,大神莫拍砖,菜鸟留一记录,小白请默默转载.连linux登陆和vi编辑都不会的,请默默关闭此页面.入正题 说明:淡绿色底的为linux命令,其他的为备注说明. 下载cronolog wget "http://download.chinaunix.net/down.php?id=3457&ResourceID=1851&site=1"#解压缩tar -xzvf cronolog-1.6.2.tar.gz#进入目录cd cr

ssh免密-linux下文件夹复制hadoop问题

问题描述 linux下文件夹复制hadoop问题 两台阿里云服务器centos6.5,做hadoop完全分布式搭建,在搭建过程中采用的非root账户zhm,已经实现通过zhm账户免密登录另外一台阿里云,但是我在配置好hadoop相关配置文件后,将配置好的hadoop文件夹整体复制到另外一台阿里云时,通过zhm账户复制失败(如图),求助这是为什么呢,然后我用root用户,通过输入密码才把文件夹复制过去,zhm用户已经赋权和root一样的,按照我的理解应该是可以复制的啊,希望大神帮解答一下,无线感激

文件读写-Java项目部署在Linux下文件写入的问题

问题描述 Java项目部署在Linux下文件写入的问题 一个java项目在windows下文件读写都没有问题,但是部署在Linux下的时候写入文件时有问题. 是要编辑一个文件,先打开了这个文件把里面的内容读出来,然后编辑,完了之后保存,如果打开编辑的时间超过了20秒,保存的时候就保存不上,也没有什么错误信息,如果不超过20秒,就可以保存成功.不是session的问题,session设置了30分钟.求各路大神前来指教啊 解决方案 你好,不知道你描述的问题还是我理解能力有所差异. 具我理解你的问题,

Linux下文件夹共享的问题？

问题描述 Linux下文件夹共享的问题? 想在Linux下面创建共享文件夹,请问大神们怎么弄,希望步骤简单清晰,目的明确,Linux系统是 CentOS和Ubuntu 解决方案 Linux操作系统下共享文件夹设置方法介绍

python获取Linux下文件版本信息、公司名和产品名的方法_python

本文实例讲述了python获取Linux下文件版本信息.公司名和产品名的方法,分享给大家供大家参考.具体如下: 区别于前文所述.本例是在linux下得到文件版本信息,主要是通过pefile模块解析文件 中的字符串得到的.代码如下: def _get_company_and_product(self, file_path): """ Read all properties of the given file return them as a dictionary. @retur

linux下文件和目录的颜色所代表含义是什么?

linux下文件和目录的颜色所代表含义是什么? 蓝色表示目录:绿色表示可执行文件:红色表示压缩文件:浅蓝色表示链接文件:灰色表示其它文件:红色闪烁表示链接的文件有问题了:黄色是设备文件,包括block, char, fifo.用dircolors -p看到缺省的颜色设置,包括各种颜色和"粗体",下划线,闪烁等定义 [root@localhost ~]# dircolors -p #&http://www.aliyun.com/zixun/aggregation/37954.ht

Linux下文件与权限的设定

所谓的文件权限,是指对文件的访问权限,包括对文件的读.写.删除.执行等,在linux下,每个用户都具有不同的权限,普通用户只能在自己的主目录下进行写操作,而在主目录之外,普通用户只能进行查找.读取操作,如何处理好文件权限和用户之间的关系,是本节讲述的重点. 一 查看文件的权限属性 使用ls命令就可以查看文件的以及目录的权限信息,不带任何参数的ls命令只显示文件名称,通过"ls –al"可以显示文件或者目录的权限信息,看下面的输出: [root@localhost oracle]# ls

Linux下文件剪切的sh脚本实现

需求描述 编写shell脚本实现Linux下不同目录(路径)之间的文件的剪切(移动)操作. 其中,文件移动之前所在的目录称为源目录,文件移动之后所在的目录称为目的目录.要求当源目录不存在.源目录下无文件及剪切文件成功时,均要在屏幕上输出相关的日志信息:并且,在程序执行之前,只有源目录是存在的,目的目录需要由程序创建. shell脚本 umask 0000 if [ -d $1 ] then fcnt=`ls -l $1 | wc -l` if [ $fcnt -ne 1 ] then mkdir

Linux下文件移动问题的排查及解决(以C代码为例)

问题描述 某软件具有的功能之一是将Linux下的某个源路径下的文件移动(剪切)到目的路径下.在软件运行之前,只有源路径可能是存在的,源路径下面没有子目录,只可能会有普通的文本文件. 在软件运行起来之后,发现在Linux屏幕上经常出现如下信息: mv: cannot stat `/home/zhou/zhouzx/Test/FileMove/SrcDir/*': No suchfile or directory 程序源代码及问题分析 我们查看了程序中实现该功能的源代码,如下所示: /*******