Linux 文本处理三剑客：awk、grep、sed 完全指南
1. 概述
Linux 系统提供了三个强大的文本处理工具：awk、grep 和 sed，它们各有所长，结合使用可以高效地处理文本数据。
- awk：擅长文本分析和格式化输出，是一门强大的脚本语言。
- grep：擅长文本搜索和过滤。
- sed：擅长文本编辑和转换。
这三个工具都支持正则表达式，可以处理标准输入和文件输入，是 Shell 脚本编程中不可或缺的工具。
2. awk 使用指南
2.1 基本介绍
awk 是一种编程语言，专门用于文本处理和数据提取，支持变量、条件判断、循环等编程特性。其名称来源于三位创始人的姓氏首字母。
2.2 基本语法
awk '模式 { 动作 }' [输入文件...]
命令 | awk '模式 { 动作 }'
2.3 工作原理
awk 按行处理文本，每行被分割成多个字段：
$0：整行内容$1：第一个字段$2：第二个字段- …
2.4 常用选项
| 选项 | 说明 | 示例 |
|---|---|---|
-F | 指定输入字段分隔符 | awk -F: '{print $1}' /etc/passwd |
-v | 定义变量 | awk -v var=10 '{print $1 + var}' file |
-f | 从脚本文件中读取 awk 命令 | awk -f script.awk data.txt |
2.5 内置变量
| 变量 | 说明 | 示例 |
|---|---|---|
FS | 输入字段分隔符（默认空格） | awk 'BEGIN{FS=":"}{print $1}' file |
OFS | 输出字段分隔符（默认空格） | awk 'BEGIN{OFS="-"}{print $1,$2}' file |
RS | 输入记录分隔符（默认换行符） | awk 'BEGIN{RS=";"}{print}' file |
ORS | 输出记录分隔符（默认换行符） | awk 'BEGIN{ORS="\n\n"}{print}' file |
NF | 当前行的字段数量 | awk '{if(NF>5) print $0}' file |
NR | 当前处理的总行号 | awk '{print NR, $0}' file |
FNR | 当前文件中的行号 | awk '{print FNR, $0}' file1 file2 |
FILENAME | 当前文件名 | awk '{print FILENAME, $0}' file |
2.6 示例
# 打印指定列（源文档示例）
awk '{print $1, $3}' file.txt# 指定分隔符（源文档示例）
awk -F: '{print $1, $6}' /etc/passwd# 使用条件过滤（源文档示例）
awk '$3 > 1000 {print $1}' /etc/passwd# 计算数值总和（源文档示例）
awk '{sum += $1} END {print sum}' file.txt# 使用BEGIN和END块（源文档示例）
awk 'BEGIN {print "开始处理"} {print $0} END {print "处理完成"}' file.txt# 使用内置变量（源文档示例）
awk '{print "行号:", NR, "字段数:", NF, "内容:", $0}' file.txt# 打印雇员信息（源文档示例）
awk '{ print }' employee.txt# 输出特定行（源文档示例）
awk '/张三/ { print }' employee.txt# 统计满足特定条件的记录数（源文档示例）
awk '/术/ { count=count+1 } END { print "Count="count }' employee.txt# 格式化输出表格（源文档综合示例）
awk 'BEGIN { printf "序号\t名字\t部门\t年龄\n-------------------\n" } { print } END {printf "-------------------\n"}' employee.txt
2.7 高级用法
# 使用数组统计词频（源文档示例）
awk '{for(i=1;i<=NF;i++) count[$i]++} END {for(word in count) print word, count[word]}' file.txt | sort -k2 -nr# 条件判断（源文档示例）
awk '{if($3 > 1000) print "用户:", $1, "UID:", $3; else print "系统用户:", $1}' /etc/passwd# 循环处理（源文档示例）
awk '{for(i=NF;i>=1;i--) printf "%s ", $i; printf "\n"}' file.txt# 9x9乘法表（源文档示例）
awk 'BEGIN {for(i=1;i<=9;i++){for(j=1;j<=i;j++) printf "%d*%d=%-2d ",j,i,j*i; print}}'
3. grep 使用指南
3.1 基本介绍
grep (Global Regular Expression Print) 用于在文本中搜索匹配指定模式的行。
3.2 基本语法
grep [选项] 模式 [文件...]
命令 | grep [选项] 模式
3.3 常用选项
| 选项 | 说明 | 示例 |
|---|---|---|
-i | 忽略大小写 | grep -i 'hello' file.txt |
-v | 反向匹配，显示不匹配的行 | grep -v '^#' config.conf |
-n | 显示行号 | grep -n 'error' logfile.txt |
-c | 只显示匹配的行数 | grep -c 'pattern' data.txt |
-r | 递归搜索目录 | grep -r 'function' /path/to/code/ |
-l | 只显示包含匹配的文件名 | grep -l 'TODO' *.py |
-E | 使用扩展正则表达式 | `grep -E '(error |
-A n | 显示匹配行及其后n行 | grep -A 3 'Exception' traceback.log |
-B n | 显示匹配行及其前n行 | grep -B 2 'segmentation fault' system.log |
-C n | 显示匹配行及其前后各n行 | grep -C 2 'keyword' file.txt |
3.4 示例
# 搜索包含"error"的行（源文档示例）
grep 'error' logfile.txt# 忽略大小写搜索（源文档示例）
grep -i 'error' logfile.txt# 显示行号（源文档示例）
grep -n 'error' logfile.txt# 搜索并显示后3行内容（源文档示例）
grep -A 3 'error' logfile.txt# 递归搜索目录（源文档示例）
grep -r 'function' /path/to/code/# 使用扩展正则表达式（源文档示例）
grep -E '(error|warning)' logfile.txt# 统计文件中包含特定模式的记录数（源文档awk示例的grep等效）
grep -c 'pattern' employee.txt# 输出总长度大于10的行（源文档awk示例的grep等效）
grep '.\{11,\}' employee.txt
4. sed 使用指南
4.1 基本介绍
sed (Stream EDitor) 是一个流编辑器，用于对文本进行非交互式的编辑。
4.2 基本语法
sed [选项] '命令' [输入文件...]
命令 | sed [选项] '命令'
4.3 常用选项
| 选项 | 说明 | 示例 | |
|---|---|---|---|
-n | 抑制自动输出，只显示处理过的行 | sed -n '10p' file.txt | |
-e | 允许多个编辑命令 | sed -e 's/foo/bar/' -e '/baz/d' file | |
-i | 直接修改文件内容 | sed -i.bak 's/old/new/g' file.txt | |
-r | 使用扩展正则表达式 | `sed -r 's/(foo | bar)/YES/g’ file` |
4.4 常用命令
| 命令 | 说明 | 示例 |
|---|---|---|
s/模式/替换/标志 | 替换操作 | sed 's/old/new/g' file.txt |
p | 打印 | sed -n '1,5p' file.txt |
d | 删除 | sed '/pattern/d' file.txt |
a\文本 | 在行后追加文本 | sed '$a\追加到最后一行' file.txt |
i\文本 | 在行前插入文本 | sed '1i\插入到第一行' file.txt |
c\文本 | 替换整行 | sed '/pattern/c\新的整行内容' file.txt |
4.5 示例
# 替换文本（源文档示例）
sed 's/old/new/g' file.txt# 删除空行（源文档示例）
sed '/^$/d' file.txt# 直接修改文件（源文档示例）
sed -i 's/old/new/g' file.txt# 打印特定行（源文档示例）
sed -n '10,20p' file.txt# 多重编辑（源文档示例）
sed -e 's/foo/bar/g' -e '/baz/d' file.txt# 在匹配行后追加内容（源文档示例）
sed '/pattern/a\追加的内容' file.txt# 模拟cat命令打印文件内容（源文档示例）
sed '' data.txt# 从标准输入中读取数据（源文档示例）
echo "hello world" | sed ''# 使用脚本文件（源文档示例）
echo -e "1d\n2d\n5d" > scripts
sed -f scripts data.txt
5. 综合应用示例
5.1 日志分析
# 分析日志中的错误，统计每种错误的数量（源文档grep示例扩展）
grep 'ERROR' application.log | awk '{print $5}' | sort | uniq -c | sort -nr# 提取最近一小时的日志并分析（源文档sed示例扩展）
sed -n "/$(date -d '1 hour ago' '+%H:%M:%S')/,\$p" application.log | grep 'ERROR' | awk '{print $5}' | sort | uniq -c
5.2 数据提取和转换
# 从CSV文件中提取特定列并转换格式（源文档awk示例扩展）
awk -F, '{print $1 "," $3 "," $5}' data.csv | sed 's/旧值/新值/g' > processed_data.csv# 提取网页中的链接（源文档grep示例扩展）
curl -s http://example.com | grep -o 'href="[^"]*"' | sed 's/href="//;s/"$//' | awk '!/^#/ && !/^javascript:/'# 生成格式化的文本报告（源文档awk综合示例扩展）
awk 'BEGIN {printf "序号\t名字\t部门\t年龄\n-------------------\n"} {printf "%s\t%s\t%s\t%s\n", $1, $2, $3, $4} END {printf "-------------------\n"}' employee.txt
5.3 系统监控
# 监控进程内存使用（源文档awk示例扩展）
ps aux | awk '{if($4 > 5.0) print "进程:", $11, "内存使用:", $4"%"}'# 分析磁盘使用情况（源文档awk示例扩展）
df -h | awk '/\/dev\/sd/ {print "分区:", $1, "使用率:", $5, "可用空间:", $4}'# 检查系统用户（源文档awk示例扩展）
awk -F: '$3 < 1000 {print "系统用户:", $1} $3 >= 1000 {print "普通用户:", $1}' /etc/passwd
6. 正则表达式参考
6.1 基本元字符
| 元字符 | 说明 |
|---|---|
. | 匹配任意单个字符 |
* | 匹配前一个字符0次或多次 |
+ | 匹配前一个字符1次或多次 |
? | 匹配前一个字符0次或1次 |
^ | 匹配行首 |
$ | 匹配行尾 |
[] | 匹配括号内的任意字符 |
[^] | 不匹配括号内的任意字符 |
| ` | ` |
() | 分组 |
6.2 字符类
| 字符类 | 说明 |
|---|---|
[[:alpha:]] | 字母字符 |
[[:digit:]] | 数字字符 |
[[:alnum:]] | 字母数字字符 |
[[:space:]] | 空白字符 |
[[:lower:]] | 小写字母 |
[[:upper:]] | 大写字母 |
6.3 转义字符
| 转义序列 | 说明 |
|---|---|
\n | 换行符 |
\t | 制表符 |
\s | 空白字符 |
\S | 非空白字符 |
\w | 单词字符 |
\W | 非单词字符 |
\d | 数字字符 |
\D | 非数字字符 |
7. 总结与速查
7.1 工具选择指南
- 搜索文本：使用 grep
- 编辑文本：使用 sed
- 处理结构化数据：使用 awk
- 复杂文本处理：结合使用三者
7.2 常用命令速查
awk 常用命令
awk '{print $1}' file # 打印第一列
awk -F: '{print $1}' file # 指定冒号分隔符并打印第一列
awk 'NR==10' file # 打印第10行
awk '$1 > 100' file # 过滤第一列大于100的行
awk '{sum+=$1} END{print sum}' file # 对第一列求和
awk 'BEGIN{FS=":";OFS="-"}{print $1,$3}' file # 设置输入输出分隔符并打印
awk '/pattern/{count++} END{print count}' file # 统计模式出现次数
grep 常用命令
grep pattern file # 基本搜索
grep -i pattern file # 忽略大小写
grep -v pattern file # 反向匹配
grep -n pattern file # 显示行号
grep -r pattern dir # 递归搜索
grep -E "pattern1|pattern2" file # 扩展正则表达式（或）
grep -c pattern file # 统计匹配行数
grep -A n pattern file # 显示匹配行及后n行
sed 常用命令
sed 's/old/new/g' file # 全局替换
sed '/pattern/d' file # 删除匹配行
sed -n '10,20p' file # 打印10-20行
sed -i.bak 's/old/new/' file # 直接修改文件并备份原文件
sed '/^#/d; /^$/d' file # 删除注释和空行
sed '1,5s/old/new/g' file # 替换1-5行的内容
sed '/pattern/a\text' file # 在匹配行后追加文本
7.3 性能优化技巧
- 尽量使用最简单的正则表达式
- 在 grep 中使用
-F选项处理固定字符串 - 在 awk 中预先处理数据减少后续操作
- 使用管道连接多个简单操作而不是一个复杂操作
- 对于大文件，考虑使用
split分割后并行处理
7.4 常见问题解决
- 特殊字符处理：使用转义字符或不同的定界符（如
s#old#new#） - 跨行匹配：使用 sed 的
N、D命令或 awk 的RS变量 - 性能问题：优化正则表达式，减少回溯
- 编码问题：确保终端和文件编码一致
通过掌握这三款工具的组合使用，可以解决 Linux 环境下绝大多数文本处理需求，大大提高工作效率。本文档涵盖了源文档中的主要示例和用法，并添加了选项示例，可以作为日常参考和学习的指南。
和测试程序XXX_main的Demo)
)
)
