管道

一、管道的基本概念

1. 什么是管道？

管道（Pipe） 是Linux中进程间通信的一种方式，用竖线符号 | 表示，它将前一个命令的标准输出（stdout） 作为后一个命令的标准输入（stdin）。

2. 管道符号

命令1 | 命令2 | 命令3 ...

3. 工作原理

[命令1] → (stdout) → [管道] → (stdin) → [命令2]

二、管道的基本语法和用法

1. 基本管道操作

# 查看进程后过滤出特定进程
ps aux | grep nginx

# 查看日志后统计行数
cat /var/log/syslog | wc -l

# 列出文件后排序
ls -l | sort -k5 -n  # 按文件大小排序

2. 多级管道

# 三级管道示例
ps aux | grep python | awk '{print $2}' | xargs kill

# 文件分析管道链
cat access.log | grep "404" | awk '{print $7}' | sort | uniq -c | sort -nr

三、管道的执行流程详解

1. 管道执行顺序

# 管道中的命令同时执行，数据流式处理
command1 | command2 | command3

执行过程：

1. 所有命令同时启动
2. command1 产生输出，立即通过管道传递给 command2
3. command2 处理数据，传递给 command3
4. 数据流式处理，不需要等待前一个命令完全结束

2. 数据流向示例

# 生成数据 → 过滤 → 计数
seq 1 100 | grep "5" | wc -l

执行流程：

seq 1 100  (生成: 1,2,3,...,100)
     ↓
grep "5"   (过滤: 5,15,25,...,95)  
     ↓
wc -l      (计数: 19行)

四、管道的重定向组合

1. 管道与输出重定向

# 管道结果保存到文件
ps aux | grep mysql > mysql_processes.txt

# 同时显示和保存（tee命令）
dmesg | grep -i error | tee errors.log

2. 管道与输入重定向

# 从文件读取并管道处理
cat data.txt | grep "success" | wc -l

# 等价于（但管道更清晰）
grep "success" data.txt | wc -l

3. 错误输出处理

# 默认管道只传递标准输出，不传递错误输出
command 2>&1 | other_command  # 将错误输出重定向到标准输出

# 示例：包含错误信息的管道
find /etc -name "*.conf" 2>/dev/null | wc -l  # 忽略错误信息

五、常用管道模式和实践

1. 文本处理管道

# 日志分析管道
cat /var/log/nginx/access.log | \
    awk '{print $1}' | \          # 提取IP地址
    sort | \                      # 排序
    uniq -c | \                   # 统计出现次数
    sort -nr | \                  # 按计数倒序排序
    head -10                      # 显示前10个

# 文件内容过滤和转换
cat /etc/passwd | \
    grep "/bin/bash" | \          # 过滤可登录用户
    cut -d: -f1,6 | \            # 提取用户名和家目录
    column -t -s:                 # 格式化显示

2. 系统监控管道

# 监控CPU使用率最高的进程
ps aux | \
    sort -nrk 3 | \              # 按CPU使用率排序
    head -5                      # 显示前5个

# 监控内存使用
free -h | \
    grep "Mem:" | \              # 提取内存行
    awk '{print $3 "/" $2}'      # 显示已用/总内存

# 磁盘空间监控
df -h | \
    grep -v tmpfs | \            # 排除tmpfs
    sort -nr -k5 | \            # 按使用率排序
    head -5                     # 显示前5个

3. 数据处理管道

# CSV文件处理
cat data.csv | \
    grep -v "^#" | \            # 排除注释行
    cut -d, -f1,3 | \           # 提取第1、3列
    sort -t, -k2 -nr | \        # 按第2列数字倒序
    head -10 > result.csv       # 保存前10行

# JSON数据处理（需要jq命令）
curl -s https://api.example.com/data | \
    jq '.results[] | select(.status == "active")' | \
    jq -r '.name + ": " + .value' | \
    sort

六、高级管道技巧

1. 命名管道（FIFO）

# 创建命名管道
mkfifo my_pipe

# 进程1写入管道
echo "Hello from process1" > my_pipe &

# 进程2从管道读取
cat < my_pipe

# 清理
rm my_pipe

2. 进程替换（Process Substitution）

# 比较两个命令的输出
diff <(ls /bin) <(ls /usr/bin)

# 将多个命令输出合并
paste <(ls -1) <(ls -l | awk '{print $5}')  # 文件名和大小并排显示

3. 管道与后台执行

# 长时间任务管道
find / -name "*.log" 2>/dev/null | \
    xargs grep -l "error" | \
    tee error_files.txt | \
    wc -l &

# 查看后台任务
jobs

七、管道性能优化

1. 减少不必要的数据传递

# 不好：传递所有数据后再过滤
cat huge_file.log | grep "ERROR" | wc -l

# 更好：尽早过滤减少数据量
grep "ERROR" huge_file.log | wc -l

# 最好：使用grep内置计数
grep -c "ERROR" huge_file.log

2. 使用高效的命令组合

# 低效：多个管道
cat file | grep pattern | sed 's/old/new/g' | sort

# 高效：合并操作
grep pattern file | sed 's/old/new/g' | sort

# 更高效：使用awk一次性处理
awk '/pattern/ {gsub(/old/, "new"); print}' file | sort

八、管道错误处理和调试

1. 调试管道执行

# 使用set -x查看执行过程
set -x
ps aux | grep nginx | awk '{print $2}'
set +x

# 使用tee查看中间结果
cat data.txt | tee intermediate.txt | grep "test" | wc -l

2. 错误处理技巧

# 检查管道中每个命令的退出状态
command1 | command2 | command3
echo "管道退出状态: ${PIPESTATUS[@]}"

# 确保管道中任一命令失败时整个管道失败
set -o pipefail
command1 | command2 | command3
if [ $? -ne 0 ]; then
    echo "管道执行失败"
fi

九、实际应用案例

案例1：网站访问统计

# 分析Nginx访问日志，统计最常访问的URL
cat /var/log/nginx/access.log | \
    awk '{print $7}' | \                    # 提取URL
    sort | \                               # 排序
    uniq -c | \                           # 统计次数
    sort -nr | \                          # 按访问量排序
    head -20 | \                         # 前20个
    awk '{printf "%-50s %s\n", $2, $1}'  # 格式化输出

案例2：系统安全检查

# 检查系统安全状态
echo "=== 可疑进程检查 ==="
ps aux | awk '$3 > 10.0 {print $0}'       # CPU使用率>10%的进程

echo "=== 大文件检查 ==="
find /home -type f -size +100M 2>/dev/null | xargs ls -lh

echo "=== 登录用户监控 ==="
who | awk '{print $1, $5}' | sort | uniq -c

案例3：数据库备份监控

# 监控数据库备份状态
find /backup -name "*.sql.gz" -mtime -1 | \
    xargs ls -lh | \
    awk '{print $5, $9}' | \
    sort -hr | \
    head -5 | \
    while read size file; do
        echo "备份文件: $file, 大小: $size"
    done

十、管道的最佳实践

1. 可读性优化

# 使用反斜杠换行，提高可读性
cat /var/log/application.log | \
    grep "ERROR" | \
    awk -F'|' '{print $2, $5}' | \
    sort | \
    uniq -c | \
    sort -nr > error_report.txt

2. 性能考虑

# 使用更高效的内置选项
# 而不是：cat file | grep pattern
grep pattern file

# 使用：而不是：echo "text" | sed 's/old/new/'
sed 's/old/new/' <<< "text"

3. 错误处理

# 重要的管道操作添加错误检查
if ! ps aux | grep -q "[m]ysqld"; then
    echo "MySQL未运行" | mail -s "警报" admin@example.com
fi

总结

管道是Linux中最强大的功能之一，掌握管道可以让你：

• ✅ 高效处理数据流
• ✅ 组合简单命令完成复杂任务
• ✅ 提高脚本的可读性和可维护性
• ✅ 实现流式处理，节省内存和时间

关键要点：

• 管道传递的是标准输出（stdout）
• 所有命令同时执行，数据流式处理
• 使用 tee 可以同时查看和保存中间结果
• 注意错误处理和性能优化