《文本处理三剑客：grep、sed、awk 与 jq 实战》

输入流 → [grep 筛选行] → [sed 改写行] → [awk 计算字段] → 输出
              ↑ 找                ↑ 改              ↑ 算

# 一个最小示例：找出访问量前 3 的 IP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -3

grep 'error' app.log                 # 基本匹配
grep -i 'error' app.log              # 忽略大小写
grep -v 'debug' app.log              # 反向：不含 debug 的行
grep -c 'error' app.log              # 计数
grep -n 'error' app.log              # 显示行号
grep -r 'timeout' /etc/              # 递归目录
grep -l 'pattern' *.conf             # 只列文件名
grep -A3 -B1 'error' app.log         # 显示上下文 3 行/1 行
grep -E 'error|warn' app.log         # 扩展正则

# 匹配 IPv4（简化）
grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' access.log
# 匹配时间戳行
grep -E '^\[?[0-9]{4}-[0-9]{2}-[0-9]{2}' app.log
# 排除空行与注释
grep -vE '^\s*(#|$)' config.conf

对每一行：
  地址匹配吗？──是──→ 执行命令（p/d/s/i/a/c/y…）
        │
        否
        ↓
  输出（除非 -n）

sed 's/old/new/' file            # 替换每行第一个
sed 's/old/new/g' file           # 全局替换
sed -n '5,10p' file              # 只打印 5~10 行（-n 抑制默认输出）
sed '3d' file                    # 删除第 3 行
sed '/^#/d' file                 # 删除注释行
sed -i 's/foo/bar/g' file        # 原地修改（-i）
sed -i.bak 's/foo/bar/g' file    # 原地修改并备份为 file.bak

sed -n '1,5p' file               # 打印前 5 行
sed 's/^/PREFIX: /' file         # 每行行首加前缀
sed '2i\inserted line' file      # 第 2 行前插入
sed '2a\appended line' file      # 第 2 行后追加
sed 's/[[:space:]]\+/ /g' file   # 压缩连续空白

# 1. 批量改配置（先预览，再 -i）
sed 's/listen 80;/listen 8080;/' nginx.conf          # 预览
sed -i.bak 's/listen 80;/listen 8080;/' nginx.conf   # 执行并备份
# 2. 注释掉某行
sed -i 's/^\(PermitRootLogin\)/#\1/' sshd_config
# 3. 取消注释
sed -i 's/^#\(PermitRootLogin\)/\1/' sshd_config
# 4. 在匹配行后插入
sed -i '/^\[mysqld\]/a\max_connections = 500' my.cnf
# 5. 删除匹配区间
sed -i '/^# BEGIN MANAGED/,/^# END MANAGED/d' config

# 交换两列（用分组 + 反向引用）
echo "name: value" | sed 's/\(.*\): \(.*\)/\2 = \1/'
# 提取括号内容
echo "id(12345)" | sed -n 's/.*(\([0-9]*\)).*/\1/p'
# 转大写 / 小写
echo "hello" | sed 's/.*/\U&/'
echo "HELLO" | sed 's/.*/\L&/'

# 多个 -e 或分号分隔
sed -e 's/foo/bar/' -e 's/baz/qux/' file
sed 's/foo/bar/; s/baz/qux/' file
# 用脚本文件
sed -i -f fix.sed file        # fix.sed 内每行一条命令

输入行 ──→ 按 FS 拆分为 $1 $2 ... $NF（NR 行号，NF 字段数）
              │
       模式匹配？──否──→ 跳过
              │是
              ↓
        执行 { 动作 }
              │
        END 块 → 汇总输出

awk '{print $1, $3}' file                 # 打印第 1、3 列
awk -F: '{print $1}' /etc/passwd          # 指定分隔符
awk -F: '$3 >= 1000 {print $1}' /etc/passwd   # 条件过滤
awk '/error/ {print $0}' app.log          # 模式匹配
awk 'NR==1 {print}' file                  # 只第一行
awk 'END {print NR}' file                 # 统计行数
awk '{sum += $3} END {print sum}' file    # 求和

awk 'BEGIN {FS=":"; OFS="\t"} {print $1, $3} END {print "done"}' /etc/passwd

# 1. 统计状态码分布
awk '{print $9}' access.log | sort | uniq -c | sort -rn
# 2. 用关联数组统计每个 IP 的请求数
awk '{count[$1]++} END {for (ip in count) print count[ip], ip}' access.log | sort -rn | head
# 3. 求各接口平均响应时间
awk '{sum[$7] += $NF; n[$7]++} END {for (u in sum) printf "%s %.2fms\n", u, sum[u]/n[u]}' access.log
# 4. 找出响应时间超过 1s 的请求
awk '$NF > 1000 {print $1, $7, $NF}' access.log

# 5xx 且耗时 > 500ms 的请求
awk '$9 ~ /^5/ && $NF > 500 {print}' access.log
# 按小时统计流量
awk -F'[:[]' '{h[$2]++} END {for (k in h) print k, h[k]}' access.log | sort

# 格式化报表：printf 对齐
awk -F: 'BEGIN {printf "%-20s %s\n", "USER", "UID"}
  $3>=1000 {printf "%-20s %d\n", $1, $3}' /etc/passwd

# 基本取值
echo '{"name":"web","port":8080}' | jq '.name'
jq '.port' config.json
jq '.items[0].id' data.json          # 数组索引
jq '.items[]' data.json              # 遍历数组
jq '.items[] | select(.status=="up")' data.json   # 过滤
jq -r '.name' data.json              # 原始字符串（去引号）

# 构造新对象
jq '{host: .name, port: .port}' config.json
# 映射数组
jq '[.items[] | {id, name}]' data.json
# 聚合
jq '[.items[].value] | add' data.json          # 求和
jq '.items | length' data.json                 # 长度
jq 'sort_by(.time)' data.json                  # 排序

# 实战：从 API 响应里统计各状态数量
curl -s https://api.example.com/hosts | \
  jq -r '.hosts[] | .status' | sort | uniq -c

# 经典五连：Top 10 访问 IP
grep -v '^#' access.log | \
  awk '{print $1}' | \
  sort | uniq -c | sort -rn | head -10

# 找出错误最多的接口
awk '$9 ~ /^5/' access.log | \
  awk '{print $7}' | sort | uniq -c | sort -rn | head

# 实时监控错误（tail -f 配合 grep 高亮）
tail -f app.log | grep --line-buffered -iE 'error|exception'

# 用 awk 一次替代 grep|awk|sort|uniq（更少进程、更快）
LC_ALL=C awk '/ERROR/ {c[$5]++} END {for (k in c) print c[k], k}' big.log | sort -rn

# 1. Nginx 访问日志：Top 10 URL（按请求数）
awk '{print $7}' access.log | sort | uniq -c | sort -rn | head -10
# 2. 各状态码占比
awk '{print $9}' access.log | sort | uniq -c | sort -rn | \
  awk '{sum+=$1; a[$2]=$1} END {for (k in a) printf "%s %6.2f%%\n", k, a[k]/sum*100}'
# 4. 每分钟请求量（找流量尖峰）
awk -F'[:[]' '{print $2":"$3}' access.log | uniq -c | sort -rn | head

# 5. 统计各类异常出现次数
grep -oE '[A-Za-z]+Exception' app.log | sort | uniq -c | sort -rn
# 6. 提取异常前后的上下文
grep -n -A5 'OutOfMemory' app.log | head -50
# 7. 找出慢请求（>1s）并排序
awk '$NF > 1000 {print $NF, $1, $7}' access.log | sort -rn | head

# 9. 列出所有未注释的有效配置项
grep -vE '^\s*(#|$)' nginx.conf
# 10. 找出所有监听端口
grep -rE 'listen\s+[0-9]+' /etc/nginx/ | sed 's/.*listen\s*//'