4.1 正则表达式入门
1 正则表达式是基于样式匹配的文本处理技术的关键所在
2 正则表达式是用于绝大多数文本处理工具的一种语言
3 正则表达式的基本组成部分
正则表达式 描述
^ 行起始标记
$ 行尾标记
. 匹配任意一个字符
[] 匹配包含在[]之中的任意一个字符
[^] 匹配除了[]之外的任意一个字符
[-] 匹配[]中指定范围内的任意一个字符
? 匹配之前的项1次或0次
+ 匹配之前的项1次或多次
* 匹配之前的项0次或多次
{n} 匹配之前的项n次
{n,} 匹配之前的项至少n次
{n,m} 匹配之前的项至少n次最大m次
4 为了匹配一个IP地址，可以使用下面的正则表达式
[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}
我们知道IP地址通常是由点号分割的4个整数，每个整数的值是0-255
5 我们在字符前面放一个”\"，这种做法是称为对字符的转制
4.2 用grep在文件中搜索文本
1 grep命令是UNIX中用于文本搜索的大师级工具，它能够接受正则表达式和通配符
2 在文件中搜索一个单词： grep word file
3 grep命令也可以对多个文件进行搜索： grep word file1 file2 file3...
4 如果想要打印包含word之外的所有行可使用： grep -v word file
5 统计文件或文本中包含匹配字符串的行数： grep -c word file
6 打印出包含匹配字符串的行数： grep -n word file
7 如果需要在多级目录中对文本进行递归搜索，可以使用： grep word path -R -n
8 忽略样式中的大小写： grep -i word file
9 打印出匹配文件之前或之后的行
要打印匹配某个结果之后3行： grep word -A 3 file
要打印匹配某个结果之前的3行： grep word -B 3 file
要打印匹配某个结果的之前及之后3行： grep word -C 3 file
4.3 用cut按列切分文件
1 cut是一个帮我们将文本按列进行切分的小工具，它也可以通过指定定界符
2 为了提取第一个字段或列，可以使用下面的方法
cut -f field_list file // field_list是要显示的列
3 cut -f 2,3 file // 这条命令将显示第2，第3列
4 我们也可以利用-complement选项对提取的字段进行补集运算，假设有多个字段，你希望打印出除了第3列之外的所有列，则可以使用： cut -f3 --complement file
5 要指定字段的定界符，使用-d选项： cut -f2 -d";" file // 命令显示第2列，用";"做为分割符
6 如果要切分出第n到m个字符可以使用： cut -cn-m file
4.4 sed入门
1 sed是stream editor（流编辑器）的缩写，它是文本处理中非常重要的工具，它能够完美的配合正则表达式使用，功能不同反响
2 sed可以替换给文本中的字符串，它可以利用正则表达式进行匹配
sed 's/pattern/replace_string/' file
3 如果使用-i选项，可以将替换结果应用于原文件: sed -i 's/pattern/replace_string/' file
4 用sed移除空白行： sed '/^$/d' file
5 利用管道组多个sed命令这种方法可以用下面的方式替换： sed expression | sed expression 等价于sed 'expression ; expression'
4.5 awk入门
1 awk脚本的结构基本如下所示： awk 'BEGIN{statement} pattern{statement}END{statement}'
2 一个awk脚本通常有三个部分组成：BEGIN语句块，END语句块和能够使用模式匹配的语句块。这三个部分是可选的，它们中的任何一个部分都可以不出现在脚本中，脚本通常包含在单引号中或双引号中
3 awk命令的工作方式
（1） 执行BEGIN{statement}语句块中的语句
（2） 从文件或stdin中读取一行，然后执行pattern{statement}，重复这个过程，直到文件全部读取完毕
（3） 当读至输入流末尾的时候，执行END{statement}语句块
4 BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，诸如变量的初始化，打印输出表格的表头语句等等
5 END语句块和BEGIN类似，END语句在awk从输入流中读取完毕之后被执行，像打印所有行的结果这类信息一般都是放在END语句块中执行
6 最终要的部分是pattern语句块中的部分，这个语句块同样也是可选的，如果不提供，则默认执行print，即打印每一个读取的行
7 当使用不带参数的pring时，它会打出当前行。关于print，需要记住的是：当pring的参数是以逗号进行分割时，参数打印则以空格做为定界符，在awk的print中双引号是被当做拼接操作符使用的
8 awk的一些特殊变量
NR： 表示记录数量，在执行的过程中相当于当前行号
NF： 表示字段数量，在执行过程中对应于当前行的字段数
$0: 这个变量包含执行过程中当前行的文本内容
$1: 这个变量包含第一个字段的文本内容
$2: 这个变量包含第二个字段的文本内容
9 通常grep是默认读取一个文件的所有行，如果只想读取某一行，可以使用getline
10 awk有很多内置的函数
length(string): 返回字符串的长度
index(string, search_string): 返回search_string在字符串中的出现的位置
split(string, array, delimiter)： 用定界符生成一个字符串列表，并将该列表存入数组
4.6 替换文本或文件中的字符串
1 可以使用下面的方式替换一个字符串或样式
sed 's/pattern/replace_string/g' file //这条命令会替换所有匹配到的项，/g的意识是全局(global)，这就意味着它会替换文件中所有匹配的内容
2 当文件名传递给sed的时候，sed将输出写到stdout，如果不想把输出结果输送到stdout，而是将更改保存到原文件中可以使用-i选项 sed 's/pattern/replace_string/g' -i file
4.7 按列合并文件
1 可以使用paste命令实现按列拼接： paste file1 file2 file3
2 默认的定界符是制表符，也可以使用-d来明确指定定界符
paste file1 file2 -d "," // 指定定界符是","
4.8 打印文件或行中的第n个单词或列
1 用下面的命令打印第五列
awk '{print $5}' file // 这个命令将打印文件file的第五列
2 要打印从M行到N行这个范围的所有文本，使用下面的语法
awk 'NR==N , NR==M' file
3 命令tac可以做到逆序打印文件
seq 5 | tac // 这个命令将输出5 4 3 2 1
tac file // 这个命令将逆序打印处文件file
4 用awk实现head和tail还有tac
awk 'NR <= 10' file // 这个命令默认打印处文件file的前10行
awk '{buffer[NR%10]=$0}END{for(i=1;i<11;i++)print buffer[i%10]} file // 这个命令默认打印文件file的最后10行
awk '{buffer[NR]=$0}END{for(i=NR;i>0;i--)print buffer[i]}' file // 这个命令默认打印逆序打印出文件file