linux awk 命令实用手册
目录
0，简介
Linux awk 是一个实用的文本处理工具，它不仅是一款工具软件，也是一门编程语言。awk 的名称来源于其三位作者的姓氏缩写，其作者分别是Alfred Aho，Peter Weinberger 和 Brian Kernighan。
如果你在linux 系统中追踪awk，可以看到其最终指向的是/usr/bin/gawk，也就是gawk 命令。其GNU官方手册 权威且全面，但对于初学者并不是很友好，因为内容非常多，你可能不知从何看起。对于普通用户，一般也用不到非常复杂的功能。
如果一个文件由规则的多个列组成，则非常适合使用awk 来处理。本文介绍awk 常用方法，对于普通使用者应该是足够了。
1，基本概念
awk 命令会对文本文件的每一行进行处理，其语法格式如下：
awk `参数` `pattern {action}` `filename`
pattern 是要匹配的规则，action 是要执行的动作，只有匹配了pattern 的行，才会执行动作action。
这句命令的含义是：对于文件filename 的每一行，如果能够符合条件pattern，则执行动作action。如果不写pattern，则表示对于文件filename的每一行，都进行action 处理。
1.1，参数
awk 最常使用的参数是-F，其后跟一个分隔符或者正则表达式，其表示的意思是以怎样的规则对每一行进行分割。 默认是空格或Tab键。
1.2，pattern
pattern 可以是下表中的任意一项：
| pattern | 说明 |
|---|---|
/正则表达式/ |
正则写在两个/ 之间 |
关系表达式 |
由awk 中支持的关系运算符组成 |
模式匹配表达式 |
由 ~（匹配）和!~（不匹配）组成 |
BEGIN{语句} |
在处理第一行文本之前，执行BEGIN 块中的语句，可以在这里进行一些变量初始化等操作 |
END{语句} |
在处理完最后一行文本之后，执行END 块中的语句 |
/规则1/,/规则2/ |
这是一个范围模板，只处理规则1第一次出现与规则2第一次出现之间的行 |
1.3，action
action 由awk 语句组成，比如print，用于输出。
2，awk 内置变量
awk 中内置了很多变量，来方便使用，这里介绍一些常用的：
awk 内置变量 |
含义 |
|---|---|
FS |
表示分隔符，类似-F 参数的功能 |
$0 |
一行的完整内容 |
$n |
用分隔符隔开的第n列，比如$1 表示第一列 |
FILENAME |
当前文件名 |
NR |
当前行数，即当前行是第几行 |
NF |
当前行的列数，即当前行被分割符分成了几列 |
IGNORECASE |
如果为真，表示忽略大小写进行匹配 |
3，awk 内建函数
awk 常用函数如下：
| 函数 | 含义 |
|---|---|
tolower() |
字符串转小写 |
toupper() |
字符串转大写 |
length() |
计算字符串长度 |
split() |
字符串分割 |
systime() |
Unix 时间戳 |
strftime() |
时间格式化，用法同C语言中的strftime 函数 |
rand() |
随机数 |
sin() |
正弦 |
cos() |
余弦 |
sqrt() |
平方根 |
exp() |
求幂 |
4，awk 运算符
awk 支持如下常用运算符：
| 运算符 | 含义 |
|---|---|
+ - * / & |
加，减，乘，除，求余 |
= += -= *= /= %= ^= **= |
赋值运算符 |
< <= > >= != == |
比较运算符 |
空格 |
用于连接字符串，使用较多 |
|| |
逻辑或 |
&& |
逻辑与 |
! |
逻辑非 |
~ |
匹配 |
!~ |
不匹配 |
5，awk 使用案例
假如，我们有如下文件，分别为姓名，性别，年龄，成绩，等级和省份：
>>> cat log.txt
_________________
小明,男,23,550^优秀---北京
小丽,女,22,560^优秀---河北
小磊,男,24,530^良好---河南
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西
5.1 使用-F
以逗号, 为分隔符，并将第1列，第2列和第3列输出，如下：
>>> awk -F, '{print $1,$2,$3}' log.txt
______________________________________
小明 男 23
小丽 女 22
小磊 男 24
小召 男 23
小欣 女 23
当分隔符只有一个字符时，分割符可以紧挨-F，还有如下几种写法：
awk -F , '{print $1,$2,$3}' log.txt #`分隔符`与`-F`之间有一个空格
awk -F',' '{print $1,$2,$3}' log.txt #`分隔符`用单引号引住，并且紧挨`-F`
awk -F"," '{print $1,$2,$3}' log.txt #`分隔符`用双引号引住，并且紧挨`-F`
awk -F ',' '{print $1,$2,$3}' log.txt #`分隔符`用单引号引住，与`-F`之间有空格
awk -F "," '{print $1,$2,$3}' log.txt #`分隔符`用双引号引住，与`-F`之间有空格
当分隔符有多个连续字符时，必须用双引号或者单引号引住分割符，可以紧挨-F，也可以有空格：
awk -F '---' '{print $2}' log.txt #`分隔符`用单引号引住，与`-F`之间有空格
awk -F"---" '{print $5}' log.txt #`分隔符`用双引号引住，与`-F`之间没有空格
以上两个命令输出的内容一样，此时分隔符为---，每一行都被分成了两列，如下：
小明,男,23,550^优秀 北京
小丽,女,22,560^优秀 河北
小磊,男,24,530^良好 河南
小召,男,23,540^优良 山东
小欣,女,23,545^优良 山西
当有多个单独的分割符时，将多个分隔符写在中括号[]中，如下，表示以, 或者以--- 为分隔符：
>>> awk -F "[,^]" '{print $1, $2, $3, $4, $5}' log.txt
________________________
小明 男 23 550 优秀---北京
小丽 女 22 560 优秀---河北
小磊 男 24 530 良好---河南
小召 男 23 540 优良---山东
小欣 女 23 545 优良---山西
5.2 使用内置变量
我们用变量NR输出当前行号，变量NF输出当前行的列数，变量FILENAME输出当前文件名，如下：
>>> awk -F"---" '{print NR, $1, $2, NF, FILENAME}' log.txt
__________________________________________________________
1 小明,男,23,550^优秀 北京 2 log.txt
2 小丽,女,22,560^优秀 河北 2 log.txt
3 小磊,男,24,530^良好 河南 2 log.txt
4 小召,男,23,540^优良 山东 2 log.txt
5 小欣,女,23,545^优良 山西 2 log.txt
5.3 如何连接字符串
我们将每一列使用竖线| 分割，方法是将分隔符用双引号引住，然后紧挨变量，如下：
>>> awk -F"---" '{print NR"|"$1"|"$2"|"NF"|"FILENAME}' log.txt
__________________________________
1|小明,男,23,550^优秀|北京|2|log.txt
2|小丽,女,22,560^优秀|河北|2|log.txt
3|小磊,男,24,530^良好|河南|2|log.txt
4|小召,男,23,540^优良|山东|2|log.txt
5|小欣,女,23,545^优良|山西|2|log.txt
5.3 使用内置函数
使用内置函数systime() 输出时间戳，如下：
>>> awk -F"---" '{print NR"|"$1"|"$2"|"NF"|"FILENAME"|"systime()}' log.txt
—————————————————————————————————————————————
1|小明,男,23,550^优秀|北京|2|log.txt|1587022443
2|小丽,女,22,560^优秀|河北|2|log.txt|1587022443
3|小磊,男,24,530^良好|河南|2|log.txt|1587022443
4|小召,男,23,540^优良|山东|2|log.txt|1587022443
5|小欣,女,23,545^优良|山西|2|log.txt|1587022443
使用length 输出行长度大于5 的行：
>>> awk 'length>5' log.txt
——————————————————————————
小明,男,23,550^优秀---北京
小丽,女,22,560^优秀---河北
小磊,男,24,530^良好---河南
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西
5.4 使用pattern
使用pattern 只输出男 同学信息，$0 表示每一行的原始内容，如下：
>>> awk '/男/ {print NR"|"$0}' log.txt
__________________________
1|小明,男,23,550^优秀---北京
3|小磊,男,24,530^良好---河南
4|小召,男,23,540^优良---山东
5.5 使用逻辑非!
使用逻辑非!，输出不为男的学生信息：
>>> awk '!/男/ {print NR"|"$0}' log.txt
__________________________
2|小丽,女,22,560^优秀---河北
5|小欣,女,23,545^优良---山西
5.6 使用关系表达式
使用关系表达式，输出年龄为23 的学生信息：
# 以逗号分割后的第三列为年龄
>>> awk -F, '$3==23 {print $3, $0}' log.txt
____________________________
23 小明,男,23,550^优秀---北京
23 小召,男,23,540^优良---山东
23 小欣,女,23,545^优良---山西
也可以写成如下方式，输出年龄为23或25 的学生信息：
>>> awk -F, '$3==23 || $3==25' log.txt
________________________
小明,男,23,550^优秀---北京
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西
5.7 使用模式匹配表达式
使用模式匹配表达式，输出年龄为24 的学生信息：
awk -F, '$3 ~/24/ {print $3, $0}' log.txt
24 小磊,男,24,530^良好---河南
5.8 使用if 语句
awk 也支持if 语句，输出年龄为22 的学生信息，if 语句写在大括号{}内：
>>> awk -F, '{if($3==22) print $3, $0}' log.txt
___________________________
22 小丽,女,22,560^优秀---河北
5.9 使用NR 输出基数行
# `NR % 2 == 1` 为基数行
>>> awk -F, 'NR % 2 == 1 {print NR, $0}' log.txt
——————————————————————————
1 小明,男,23,550^优秀---北京
3 小磊,男,24,530^良好---河南
5 小欣,女,23,545^优良---山西
5.10 使用NF 输出倒数第一列
$(NF) 为倒数第1列，$(NF-1) 为倒数第2列，$(NF-2) 为倒数第3列，依次类推。
如下输出倒数第1列：
>>> awk -F, '{print $(NF)}' log.txt
______________
550^优秀---北京
560^优秀---河北
530^良好---河南
540^优良---山东
545^优良---山西
5.11 使用BEGIN 块
BEGIN 块中可以是任意多个合法的awk 语句。
>>> awk -F, 'BEGIN{print "姓名", "性别", "年龄"} {print $1, $2, $3}' log.txt
____________
姓名 性别 年龄
小明 男 23
小丽 女 22
小磊 男 24
小召 男 23
小欣 女 23
5.12 使用END 块
END 块中可以是任意多个合法的awk 语句，BEGIN 块与END 块可以一起使用。
>>> awk -F, 'BEGIN{print "姓名", "性别", "年龄"} {print $1, $2, $3} END{print "共有"NR"行信息"}' log.txt
____________
姓名 性别 年龄
小明 男 23
小丽 女 22
小磊 男 24
小召 男 23
小欣 女 23
共有5行信息
5.13 使用范围模板
输出小丽和小欣之间的行数据：
>>> awk '/小丽/,/小欣/' log.txt
______________________________
小丽,女,22,560^优秀---河北
小磊,男,24,530^良好---河南
小召,男,23,540^优良---山东
小欣,女,23,545^优良---山西
（完。）
文章作者 @码农加油站
上次更改 2020-04-16