kubelet作为Kubernetes节点的核心管家，其日志是排查节点问题的金钥匙。本文将分享生产环境中查看和分析kubelet日志的完整方案，助你快速定位节点级故障。
一、基础操作：快速查看日志
1. systemd服务日志（推荐首选）
# 查看实时滚动日志（Ctrl+C退出）
journalctl -u kubelet -f# 查看过去1小时的关键错误
journalctl -u kubelet --since "1 hour ago" | grep -iE 'error|fail|exception'# 导出完整日志到文件（用于后续分析）
journalctl -u kubelet --since "2023-08-01" > kubelet.log
2. 直接访问日志文件（容器化部署场景）
# 常规路径（适用于大多数发行版）
tail -f /var/log/kubelet.log# 容器化kubelet路径（如kubeadm部署）
tail -f /var/lib/kubelet/kubeadm-flags.env
二、高阶技巧：精准定位问题
1. 日志级别动态调整
# 临时开启Debug模式（无需重启服务）
curl -X PUT -d "4" http://localhost:10248/debug/flags/v# 验证日志级别
curl http://localhost:10248/debug/flags/v
2. 关键日志模式过滤
# PLEG健康检查异常（节点NotReady高频原因）
journalctl -u kubelet | grep 'PLEG is not healthy'# 证书相关错误（TLS握手失败等）
journalctl -u kubelet | grep -i 'x509'# 资源不足告警
journalctl -u kubelet | grep -iE 'out of memory|eviction'
3. 时间窗口定位法
# 定位特定时间段的日志（精确到分钟）
journalctl -u kubelet --since "09:30" --until "09:35"
三、生产环境实战场景
场景1：证书过期导致节点失联
特征日志：
x509: certificate has expired or is not yet valid
处理方案：
# 强制更新客户端证书
rm -f /var/lib/kubelet/pki/kubelet-client-*
systemctl restart kubelet
场景2：磁盘压力触发Pod驱逐
日志线索：
DiskPressure: True, Message: node has disk pressure
应急操作：
# 快速清理Docker残留文件
docker system prune -af# 释放kubelet缓存
find /var/lib/kubelet/pods/ -type d -name volumes -exec du -sh {} +
场景3：容器运行时无响应
错误提示：
PLEG is not healthy: pleg was last seen active 5m0s ago
恢复步骤：
# 重启containerd服务
systemctl restart containerd# 清理孤儿容器
ctr -n k8s.io containers list | awk '{print $1}' | xargs -I{} ctr -n k8s.io containers delete {}
四、日志管理最佳实践
1. 日志轮转配置（防止磁盘撑爆）
# 配置logrotate（/etc/logrotate.d/kubelet）
/var/log/kubelet.log {dailyrotate 7compressmissingokcopytruncate
}
2. 集中式日志收集（生产必选）
# Fluentd配置示例（采集kubelet日志）
<source>@type tailpath /var/log/kubelet.logtag kubeletformat json
</source>
3. 关键指标监控
# Prometheus告警规则（日志错误突增）
- alert: KubeletErrorSpikeexpr: rate(kubelet_log_messages_total{severity="ERROR"}[5m]) > 10for: 10m
五、专家调试工具箱
1. 实时日志分析脚本
#!/bin/bash
# 自动提取关键错误并统计频率
journalctl -u kubelet --since "1 hour ago" \| awk '/error|fail|exception/ {print $5}' \| sort | uniq -c | sort -nr
2. 跨节点日志比对
# 并行查询多个节点（需配置ssh免密登录）
parallel-ssh -i -H "node1 node2 node3" \"journalctl -u kubelet --since '10 min ago' | grep -i cert"
3. 性能瓶颈定位
# 统计日志中耗时操作TOP10
grep 'Processing request' /var/log/kubelet.log \| awk '{print $NF}' | sort -n | tail -10
六、避坑指南
- 勿全量采集日志：优先过滤ERROR级别，避免存储爆炸
- 注意时区统一：确保日志时间戳与监控系统一致
- 保护敏感信息：日志中可能包含证书密钥，需做脱敏处理
- 版本差异验证：不同K8s版本的kubelet日志格式可能不同
通过掌握这些技巧，运维人员可以将平均故障排查时间（MTTR）缩短50%以上。建议将常用检查命令封装成脚本，并结合ELK等日志平台建立实时分析系统，实现从被动响应到主动预防的运维升级。
