【awk】awk语法（小结）

Shell编程 2010-05-25 11:04:45 阅读644 评论0 字号：大中小
导读：bkeep
第一篇：基础篇
1，awk基本语法
2，比较操作符
3，复合表达式
4，next命令：
5，awk中的数字操作符：
6，awk中的赋值操作符
7，BEGIN  和  END
8，内置变量
9，awk使用shell变量
10，awk中的三种流控制语句
10.1 if语句
10.2 while语句：
10.3 for语句：
11. $0：
12，shell里的特殊变量
第二篇：准高级篇
1，内置函数
2， 输入输出的内部函数
3，借用C语言的格式化输出指令，
4，printf “%。。。”中的。。。有以下格式
5，gawk中的特殊字符：
6， 改变字段分隔符
7， 元字符
8， 调用gawk程序
9， 数组
10， 用户自定义函数
正文：
，awk基本语法
awk ‘script’  files
script 由下面的结构组成 /pattern/{actions}
，比较操作符
语法：expression {actions;}
expression 可以使用以下操作符构成
<                                 小于
>                                 大于
<=                               小于等于
>=                               大于等于
==                               等于
!=                               不等于
value ~ /pattern/          若value匹配pattern则为真
value !~ /pattern/         若value不匹配pattern则为真
说明：$2 ~ /^\$[1-9][0-9]*  将匹配第二列以$开头，然后大于1的二位数。（注意，这里是1而不是10）
，复合表达式
语法：（compound expression）
（expr1）&& (expr2)  ------- 与
（expr1）|| (expr2)  ------- 或
说明一下：符合表达式必须用括号括起来
当使用&&时，expr1和expr2必须同时为零（零代表真！呵呵～），复合表达式才为真；
当使用 || 时，expr1和expr2 只要有一个为真，复合表达式则为真！
，next命令：
告诉awk跳过剩下的所有模式和表达式，并读取输入的下一行，同时从第一个模式或表达式开始处理该行！
，awk中的数字操作符：
+            加
-             减
*            乘
/             除
%           求余
^            求幂
，awk中的赋值操作符
+=                 x+=1 就是x=x+1
-=                  x-=1 就是x=x-1
*=                 x*=1 就是x=x*1
/=                  x/=1 就是x=x/1
%=                x%=2 就是x=x%2
^=                 x^=2 就是x=x^2
，BEGIN  和  END
awk的语法：/pattern/ {action}    pattern：模式
这里pattern有两个特殊模式BEGIN和END
下面是BEGIN  END的语法：
awk ‘
BEGIN { actions }
/ pattern / { actions }
/ pattern / { actions }
END { actions }
‘  files
BEGIN和END都是可选的
·当指定BEGIN模式时，awk在读取任何输入前执行动作 actions
·当指定END模式时，awk在其退出前执行动作actions
这里要特别注意：比如awk读入aa.txt。那么BEGIN只在读入aa时执行一次，然后按行处理的时候不再执行BEGIN指定的action！（也可以这么理解：BEGIN只对文件生效，而不是按行生效！！）；理解了BEGIN，END还会糊涂吗？呵呵！
，内置变量
gawk语言中有几个十分有用的内置变量，现在列于下面：
NR 已经读取过的记录数。
FNR 从当前文件中读出的记录数。
FILENAME 输入文件的名字。
FS 字段分隔符（缺省为空格）。
RS 记录分隔符（缺省为换行）。
OFMT 数字的输出格式（缺省为% g）。
OFS 输出字段分隔符。
ORS 输出记录分隔符。
NF 当前记录中的字段数。
如果你只处理一个文件，则NR 和FNR 的值是一样的。但如果是多个文件， NR是对所有的文件来说的，而FNR 则只是针对当前文件而言。
改变内置变量的方法？
# awk 'BEGIN {FS=":"} {print $1 |"sort"}' /etc/passwd
adm
apache
avahi
此程序会将所有用户的登录名称，依照字母的顺序显示出来。
，awk使用shell变量
经过前面的学习，我们知道shell变量的引用由$xxx 实现，而awk中的变量直接使用xxx来引用。所以我们就要思考如何让awk使用shell变量
语法：
awk  ‘script’  awkvar1=value  awkvar2=value ......  files
说明： awk： 命令； ‘script’：awk将要执行的脚本； awkvarN：awk的变量；value：shell中的变量值； files：将要处理的文件名
，awk中的三种流控制语句
if语句
while语句
for语句
语句
if (expression1) {action1}
else if (expression2) {action2}
else { action3}
执行过程：
1）计算expression1的值
2）若expression1为真，执行action1并推出if语句
3）若expression1为假，计算expression2
4）若expression2为真，执行action2并退出if语句
5）若expression2为假，执行action3并退出if
语句：
while (expression) { actions }
若expression为真，则执行actions
[root@master bkeep]# awk 'BEGIN { x=0;while(x<3) {x+=1;print x;}}'   //先给x+1再输出
语句：
for （initialize_counter; test_counter;increment_counter） {
action
}
解释一下，呵呵
for (初始化计数器变量；测试计数器是否到顶了；增加计数器的值)  {
要执行的动作！
}
【常用】
循环迭代处理记录中的域并输出他们
[root@master bkeep]# cat for2.sh
#!/bin/bash
awk '{
for (x=1;x<=NF;x+=1) {
printf "%s    ",$x "zbb";
}
printf "\n";
}' fruit_prices.txt
：
awk使用变量0原原本本地存储它所读入的整个输入行。这样可以保持和原来文本格式相同的输出
，shell里的特殊变量
# sh /usr/local/bkeep/shell.sh 001 002
I'm $0 is:/usr/local/bkeep/shell.sh         //正在被执行脚本的名字；`basename $0`
I'm $1 is:001                 //$1接收到的参数
I'm $2 is:002                 //$2接收到的参数
I'm $# is:2                    //总共接收到的参数个数
I'm $* is:001 002          //把接收到的参数全部打印出来
I'm $@ is:001 002         //同上
I'm $? is:0                    //上一个脚本的退出状态“0”代表正常；“1”非正常退出
I'm $$ is:24137             //当前执行脚本的进程ID
I'm $! is:                      //前一个后台进程的id
，内置函数
length(string) 求出string 有几个字符。
match ( string,regexp ) 在字符串string 中寻找符合regexp 的最长、最靠左边的子字
符串。返回值是regexp 在string 的开始位置，即index值。match 函数将会设置系统变量
RSTART 等于index的值，系统变量RLENGTH 等于符合的字符个数。如果不符合，则会
设置R S TA RT 为0、RLENGTH 为- 1。
sprintf ( format，expression1，. . . ) 和printf 类似，但是sprintf 并不显示，而是返回字
sub ( regexp，replacement，target ) 在字符串target 中寻找符合regexp 的最长、最靠左的地方，以字串replacement 代替最左边的regexp。
·gsub(regexp，replacement，target)与前面的sub类似。在字符串target中寻找符合regexp的所有地方，以字符串replacement代替所有的regexp。例如：
substr(string，start，length)返回字符串string的子字符串，这个子字符串的长度为
length，从第start个位置开始。
tolower(string) 将字符串string的大写字母改为小写字母。
toupper(string) 将字符串s t r i n g的小写字母改为大写字母。
， 输入输出的内部函数
close(filename) 将输入或输出的文件filename 关闭。
system(command) 此函数允许用户执行操作系统的指令，执行完毕后将回到gawk程
，借用C语言的格式化输出指令，
可以让gawk的输出形式更为多样。这时，应该用printf而不是print。例如：
# gawk '$1 != "Tim" {printf "%5s likes this language\n",$2}' testfile
10 likes this language
90 likes this language
110 likes this language
%5是定义$2列的输出占5个字符的位置
\n 是换行符
printf是C语言的格式化输出
，printf “%。。。”中的。。。有以下格式
d 显示十进制的整数。
i 显示十进制的整数。
e 将浮点数以科学记数法的形式显示。
f 将数字以浮点的形式显示。
g 将数字以科学记数法的形式或浮点的形式显示。数字的绝对值如果大于等于0.0001则
o 显示无符号的八进制整数。
s 显示一个字符串。
x 显示无符号的十六进制整数。1 0至1 5以a至f表示。
X 显示无符号的十六进制整数。1 0至1 5以A至F表示。
% 它并不是真正的格式控制字符，% %将显示%。
，gawk中的特殊字符：
你也可以使用一些换码控制符格式化整行的输出。之所以叫做换码控制符，是因为gawk对这些符号有特殊的解释。下面列出常用的换码控制符：
a 警告或响铃字符
b 后退一格
f 换页
n 换行
r 回车
t Ta b
v 垂直的t a b
验证一下\a，运行后“当”了一声，呵呵，有意思！
# gawk '{printf "%5s works for %10s and earns %6f an hour\n\a",$1,$2,$5 }' testfile
， 改变字段分隔符
# awk -F "," '{print $1,$2,$3}' aa
， 元字符
^ 表示字段的开始。
$ 表示字段的结束。
. 表示和任何单字符m匹配。
| 表示“或”。
* 表示字符的零到多次重复。
+ 表示字符的一次到多次重复。
{a，b} 表示字符a次到b次之间的重复。  //没有成功！
表示字符零次和一次的重复。
[] 表示字符的范围。
[^] 表示不在[ ]中的字符。
， 调用gawk程序
# gawk  –f  script  filename
# gawk  –f script  -F";"  filename
# gawk -f script filename1 filename2 filename3 ...
， 数组
gawk语言支持数组结构。数组不必事先初始化。声明一个数组的方法如下：
arrayname[num]=value请看下面的例子：
# cat reverse.sh
#!/bin/bash
{line[NR] = $0 } # remember each line
END {var=NR # output lines in reverse order
while (var > 0){
print line[var]
var--
}
}
， 用户自定义函数
下面详细解释一下自定义的function函数
# cat function.sh
#!/bin/bash
{print "sum=",SquareSum($1,$2)} //这行是awk最终执行的动作（调用我们自定义的函数）
//这里把栏位1和栏位2的值分别赋予x,y变量
function SquareSum(x,y){    //function是关键字，SquareSum是自定义函数名，
//x,y是自定义函数的参数列表
sum=x*y+y*y        //函数真正的功能：先相乘再相加，最后返回sum值！
return sum
}
# cat testfile
1  10  11  12  1.1111
9  90  91  92  9.99999
11 110 111 112  111.1111
Tim  zhengbin bkeep tom
# cat function.sh
#!/bin/bash
{print "sum=",SquareSum($1,$2)}
function SquareSum(x,y){
sum=x*y+y*y
return sum
}
# awk -f function.sh testfile
sum= 110
sum= 8910
sum= 13310
sum= 0