shell脚本去重的几种方法

  • 测试文件
[root@bogon ~]# cat >test
jason
jason
jason
fffffjason

按 Ctr + D保存

1、sort -u

[root@bogon ~]# sort -u test
fffff
jason

2、uniq

[root@bogon ~]# uniq test
jason
fffff
jason

由此可见，uniq需要先排序后才能去重

3、sort、管道和uniq结合运用

  • 　　去除重复并保留一份重复的数据
[root@bogon ~]# sort test|uniq
fffff
jason
  • 　　去除所有重复的行（不保留重复的行），并计算行数
[root@bogon ~]# sort test|uniq -uc
      1 fffff
  • 　　找出所有重复的行，并计算行数
[root@bogon ~]# sort test|uniq -dc
      4 jason
  • 　　根据某个字段去重

　　将原有数据改为

[root@bogon ~]# more test
jason 1
jason 2
jason 1
fffff 2
jason 3
[root@bogon ~]# sort -k 1,1 -u test
fffff 2
jason 1

　　man sort查看sort的用法，-k参数是这么描述的：

　　　　-k, --key=POS1[,POS2]
　　　　start a key at POS1 (origin 1), end it at POS2 (default end of line)

　　也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列

 

时间： 2024-09-28 10:59:05

shell脚本去重的几种方法的相关文章

Shell脚本去重的几种方法实例_linux shell

测试文件 复制代码 代码如下: [root@bogon ~]# cat >test jason jason jason fffff jason 按 Ctr + D保存 1.sort -u 复制代码 代码如下: [root@bogon ~]# sort -u test fffff jason 2.uniq 复制代码 代码如下: [root@bogon ~]# uniq test jason fffff jason 由此可见,uniq需要先排序后才能去重 3.sort.管道和uniq结合运用 去除重

Shell脚本中引用、调用另一个脚本文件的2种方法

  这篇文章主要介绍了Shell脚本中引用.调用另一个脚本文件的2种方法,本文介绍了两种方法的语法,然后给出实际使用实例和一些要注意的地方,需要的朋友可以参考下 在Java,Python中,可以用import的方式来进行脚本或模块之间调用,例如: 代码如下: >>> import math >>> math.sqrt(4) 2.0 在Shell中要如何调用别的shell脚本,或别的脚本中的变量,函数呢? 方法一: . ./subscript.sh 方法二: source

JavaScript数组去重的3种方法和代码实例

  这篇文章主要介绍了JavaScript数组去重的3种方法和代码实例,本文直接给出实例代码,需要的朋友可以参考下 数组去重的方法有很多,到底哪种是最理想的,自己不清楚.于是自己测试了下数组去重的效果和性能.测试十万个数据,代码和所耗大概时间如下. 到底采用哪种方法,根据实际情况而定吧. ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 3

Linux shell脚本中连接字符串的方法

 这篇文章主要介绍了Linux shell脚本中连接字符串的方法,大家参考使用吧 如果想要在变量后面添加一个字符,可以用一下方法:   代码如下: $value1=home $value2=${value1}"=" echo $value2     把要添加的字符串变量添加{},并且需要把$放到外面. 这样输出的结果是:home=,也就是说连接成功.   又如:     代码如下: [root@localhost sh]# var1=/etc/ [root@localhost sh]#

JavaScript数组去重的五种方法_javascript技巧

javascript数组去重是一个比较常见的需求,解决方法也有很多种,网上都可以找到答案的,下面小编给大家整理了一份关于同类型的数组去重的方法,先给大家介绍下简单实现思路. 思路: 遍历数组,一一比较,比较到相同的就删除后面的 遍历数组,一一比较,比较到相同的,跳过前面重复的,不相同的放入新数组 任取一个数组元素放入新数组,遍历剩下的数组元素任取一个,与新数组的元素一一比较,如果有不同的,放入新数组. 遍历数组,取一个元素,作为对象的属性,判断属性是否存在 1. 删除后面重复的: functio

JavaScript数组去重的两种方法推荐_javascript技巧

1.数组去重: Array类型并没有提供去重复的方法,如果要把数组的重复元素干掉,那得自己想办法: 方法一:利用indexOf方法: var aa=[1,3,5,4,3,3,1,4] function arr(arr) { var result=[] for(var i=0; i<arr.length; i++){ if(result.indexOf(arr[i])==-1){ result.push(arr[i]) } } console.log(result) } arr(aa) 方法二:

shell脚本中取消重定向的方法实例_linux shell

在上一篇关于shell编程的例子中,有讲到把shell脚本进行扩展之后重定向到一个文件中,以便进行查看和调试http://www.jb51.net/article/62435.htm.但是,若是有另一种情况:只是在某些地方进行重定向,而其他地方不进行重定向.那么我们就来修改一下上一篇中的例子来进行这种需求的满足: 复制代码 代码如下: #!/bin/bash function setlogfile {     if ! [ -z "$1" ]; then         echo &q

JavaScript数组去重的3种方法和代码实例_javascript技巧

数组去重的方法有很多,到底哪种是最理想的,自己不清楚.于是自己测试了下数组去重的效果和性能.测试十万个数据,代码和所耗大概时间如下. 到底采用哪种方法,根据实际情况而定吧. /*方法一: 1,'1' 会被认为是相同的; 所有hash对象,如:{x;1},{y:1}会被认为是相同的 //10ms */ Array.prototype.unique=function(){ var newArr=[],obj={}; for(var i=0,len=this.length;i<len;i++){ if

Shell脚本避免重复执行的方法_linux shell

很多用cron定时执行的shell脚本可能会由于各种原因执行很久,会有必要在运行的时候先检查一下自身是否还在运行.本文提供的linux shell脚本用以检查以命令sh ...来执行的shell脚本.要对其他东西进行唯一性检查,可以稍微修改一下源代码. 复制代码 代码如下: # 检查通过sh命令执行的shell脚本是不是还在执行当中,避免重复执行. # 把这段代码放在需要保证唯一性的程序头部即可 # 注意,如果直接把此脚本放到cron里面执行的话,必须再grep -v " -c sh "