笔记 | Shell 脚本

晓松

职位：运维开发工程师
技能：熟练Centos系统操作、管理和维护
技能：熟悉 MySQL 数据库基本使用方法
技能：熟练 SHELL 脚本的编写
技能：熟悉 LNMP 平台相关技术配置和管理
技能：熟悉 ZABBIX 监控系统的配置和使用
技能：熟悉 Prometheus 监控系统的安装配置和使用
技能：熟悉 ansible 自动化运维工具
技能：了解 HTML,CSS,JavaScript前端页面基本编写
技能：熟悉 WAF 应用防火墙的使用和配置
技能：熟悉 Linux7 firewall 防火墙的使用
技能：熟悉阿里云平台的使用
技能：熟悉Docker虚拟化技术
技能：熟悉 Redis、MongoDB NoSQL数据库使用

### awk命令解析
#### awk工具概述
awk编辑语言/数据处理引擎

- 创造者：Aho、Weinberger、Kernighan
- 基于模式匹配检查输入文本，逐条处理并输出
- 通常用在Shell脚本中，获取指定的数据
- 单独用时，可对文本数据做统计

**和grep命令差不多，可以做数据的统计、过滤**

#### 命令格式解析
主要用法

- 格式1：

前置命令 | awk [选项] '[条件]{编辑指令}'

- 格式2：

awk [选项] '[选项]{编辑指令}' 文件.. ..

> 条件：/正则/，默认所有
> print 是最常用的编辑指令；若有多条编辑指令，可用分号分隔
> 处理文本时，若未指定分隔符，则默认将空格、制表符等作为分隔符

常用命令选项
- -F: 指定分隔符，可省略，默认空格或者tab位

```
# 指定分隔符
$ head -3 /etc/passwd | awk -F: '{print $1, $3}'
root 0
bin 1
daemon 2

# 检查登录终端失败的IP有哪些
$ sudo awk '/FAILED/{print $11}' /var/log/secure

# 检测内存剩余容量
$ free | awk '/Mem/{print $4}'

# 过滤网络流量
$ ifconfig ens33 | awk '/RX packets/{print $5}'
```

#### awk内置变量
有特殊含义，可直接使用

| 变量 | 用途 |
| ------ | ------ |
| FS | 保存或设置字段分隔符，例如FS=”:” |
| $n | 指定分隔的第n个字段，如$1、$3分别表示第1、第3列 |
| OFS | 指定输出字段分隔符 |
| $0 | 当前读入的正行文本内容 |
| NF | 记录当前处理行的字段个数（列数） |
| NR | 记录当前已读入行的数量 |

```
# 输出行号和总列数
$ awk -F: '{print NR,NF}' /etc/passwd

# 输出每行的最后一列
$ awk -F: '{print $NF}' /etc/passwd

# 小栗子 打印Linux服务器的所有用户和解释器
$ awk -F: '{print "用户名："$1"\t""解释器："$NF}' /etc/passwd

# 指定分隔符输出
$ awk -F: 'BEGIN {OFS=":"} /bash/{print $1, $NF}' /etc/passwd
```

#### awk过滤的时机
在所有行前处理，BEGIN{}
- 读入第一行文本之前执行
- 一般用来初始化操作

逐条处理，{}
- 逐行读入文本执行相应的处理
- 是最常见的编辑指令块

在所有行后处理，END{}
- 处理完最后一行文本之后执行
- 一般用来输出处理结果

> 可单独使用，也可以同时一起使用

```
# 预处理不需要数据文件
$ awk 'BEGIN {a=66; print a+34}'
100

# 统计使用 bash 的用户数量
$ awk -F: 'BEGIN {x=0} /bash/{x++} END {print x}' /etc/passwd
```

### awk处理条件
#### 处理条件概述
所有的行全部处理并输出吗？
怎么限制处理条件？
根据多个条件来处理指定的行？

条件的表现形式

- 正则表达式
- 数值/字符串比较
- 逻辑比较
- 运算符

正则表达式 (模糊匹配)

- /正则表达式/
- ～匹配、!~不匹配

```
# 匹配第1列有root的行
$ awk -F ':' '$1 ~ "root"' /etc/passwd

# 匹配有 "/bin/bash" 的行
$ awk -F ':' '/\/bin\/bash/{print}' /etc/passwd
```

数值比较

- == 等于 、!= 不等于
- \> 大于、 >= 大于或等于
- < 小于、 <= 小于或等于

```
# 输出第一行
$ awk -F ':' 'NR==1{print}' /etc/passwd

# 输出小于或等于4的行
$ awk -F ':' 'NR<=4{print}' /etc/passwd
```

#### 多个条件的组合
逻辑比较测试

- && 逻辑与：期望多个条件都成立
- || 逻辑或：只要有一个条件成立即满足要求

```
# 输出包含 /data/bash 和 第一列等于 root 的行
$ awk -F ':' '/\/bin\/bash/ && $1!="root"{print}' /etc/passwd
```

#### 变量的运算
运算符

- +、-、*、/、%
- ++、--、+=、-=、*=、/=

```
# 输出齐数行
$ awk -F ':' 'NR%2==1 {print}' /etc/passwd
```

### awk脚本
#### awk脚本文件
已.awk结尾的文件
执行格式

awk -f awk脚本文件 文件

应用场景
- 非常复杂的awk指令集

```
$ vim user.awk 
BEGIN {
    FS=":";
    printf "%-10s %s\n", "user", "Interpreter"
    print "-----------------"
}
/bash/ && /root/ {printf "%-10s %s\n", $1, $NF}

$ awk -f user.awk /etc/passwd
user       Interpreter
-----------------
root       /bin/bash
```

printf 格式化打印

- %s 字符串；%c 单个字符；%d 数字； %f 浮点数
- -num 左对齐多少位

晓松

awk 基本用法 awk 工具简单使用、处理条件、变量使用等

awk 基本用法

awk 工具简单使用、处理条件、变量使用等