一、微服务内部异常

1. 描述

   • 微服务Pod自动重启
   • 表现：服务波动（响应时间不稳定）、监控指标异常（Pod重启次数增加，CPU/内存波动）、Kubernetes事件记录容器重启原因
   • 影响：服务中断、性能波动、资源消耗增加、可能引发链路雪崩

2. 监控指标

   • Pod自动重启

3. 告警规则

   • 1分钟内Pod重启次数 > 0

4. 常见原因

   • 健康检查失败（Liveness/Readiness Probe配置不当）
   • 容器异常退出（如OOM Killed）
   • 配置变更触发重启

5. 排查步骤

   1. 查看Pod状态及事件
   2. 检查Pod日志定位异常（资源耗尽、代码错误等）
   3. 验证健康检查探针配置合理性
   4. 检查资源限制（requests/limits）
   5. 分析CPU/内存等监控指标
   6. 排查配置变更或网络/存储问题

6. 解决方案

   • 健康检查失败：扩容Pod、放宽探针阈值、修复中间件/网络
   • 容器异常退出：监控内存使用，分析OOM Dump文件

---

二、微服务接口响应失败率高

1. 描述

   • 接口请求失败率高，但部分请求成功
   • 表现：接口频繁告警，业务仍可运行
   • 影响：业务异常、系统稳定性下降

2. 监控指标

   • 接口失败率

3. 告警规则

   • 指定时间内接口失败率 > x%
   • 指定时间内接口失败次数 > x

4. 常见原因

   • 依赖服务节点宕机
   • 带宽占用过高
   • 网络策略未开白/调整
   • 依赖服务GC异常

5. 排查步骤

   1. 分析日志
   2. 检查依赖服务节点状态（CPU等）
   3. 测试网络带宽与连通性
   4. 检查JVM信息（线程池、GC停顿）

6. 解决方案

   • 完善监控机制（CPU/JVM/带宽等）
   • 配置服务宕机告警
   • 建立依赖方问题同步机制

---

三、数据库连接池获取超时

1. 描述

   • 服务接口大面积超时
   • 表现：P99延迟、线程数激增、数据库负载高
   • 影响：系统性能下降、请求失败、事务中断

2. 监控指标

   • 获取数据库连接池超时

3. 告警规则

   • 获取数据库连接池超时数量 > 1

4. 常见原因

   • 连接池配置不当（最大连接数过小、超时过短）
   • 数据库性能瓶颈
   • 网络延迟
   • 连接泄露（未正确关闭）

5. 排查步骤

   1. 检查日志（连接池错误）
   2. 监控数据库性能指标（CPU/内存等）
   3. 验证连接池参数合理性
   4. 测试网络连通性
   5. 审查代码确保连接释放

6. 解决方案

   • 优化连接池配置（调整最大连接数/超时时间）
   • 提升数据库性能（SQL优化、分库分表）
   • 修复代码泄露问题
   • 引入连接池监控工具

---

四、JVM内存OOM

1. 描述

   • 服务无法启动或Pod不定期重启
   • 表现：CPU/内存/网络连接数异常升高
   • 影响：系统性能下降、服务中断、资源耗尽

2. 监控指标

   • IO、线程数、文件句柄数、内存

3. 告警规则

   • 各监控指标 > x

4. 常见原因

   • 堆内存溢出（对象过多、内存泄露）
   • 方法区溢出（类加载过多）
   • 栈内存溢出（递归过深、线程过多）

5. 排查步骤

   1. 定位报错信息（如OutOfMemoryError）
   2. 使用top/jstat分析GC情况
   3. 生成Dump文件分析内存泄漏

6. 解决方案

   • 优化代码（减少对象创建、调整递归）
   • 内存泄漏检测（工具监控）
   • 调整JVM参数（堆大小、线程栈等）

---

五、MySQL数据库异常

1. CPU占用率高

• 描述：系统响应慢、连接超限、查询性能下降
• 影响：性能下降、资源争用、稳定性风险
• 监控指标：cpu_usage_idle
• 告警规则：CPU使用率 > 70%
• 原因：慢查询、数据量大、硬件不足、高并发
• 排查：
  1. 确认CPU占用率
  2. 检查连接数（SHOW PROCESSLIST）
  3. 分析慢SQL（EXPLAIN）
• 解决：优化SQL、调整配置、升级硬件

2. 连接数过高

• 描述：响应延迟、"Too many connections"错误
• 影响：性能下降、资源耗尽、服务崩溃
• 监控指标：连接数占比
• 告警规则：连接数 > 最大连接数的80%
• 原因：连接泄露、连接池设置不当、长查询
• 解决：
  • 调整max_connections
  • 优化连接池
  • 引入缓存（如Redis）

---

六、中间件异常

Kafka消息堆积

• 表现：消费者延迟增大、Rebalance频繁
• 影响：消费缓慢、异步链路阻塞
• 告警规则：消息堆积数量超阈值
• 原因：
  • 消费者处理能力不足
  • Partition过少
  • 生产速率过快
• 解决：
  1. 调整max.poll.records降低单次拉取量
  2. 扩容消费者或Partition
  3. 配置堆积监控告警

Nacos异常

• 表现：服务启动失败、配置更新延迟
• 影响：服务调用中断
• 原因：内存不足、版本冲突、网络问题
• 排查：
  1. 检查Nacos服务状态
  2. 测试网络连通性
  3. 验证客户端版本一致性
• 解决：
  • 扩容Nacos资源
  • 规范配置拉取频率

---

七、网络异常

域名DNS解析失败

• 表现：UnknownHostException、服务错误率上升
• 影响：业务功能故障、资源消耗
• 原因：域名配置错误、DNS服务器故障
• 解决：
  • 检查Hosts文件/DNS配置
  • 清理本地DNS缓存
  • 配置日志监控告警

端口不通

• 表现：ConnectException、SocketTimeoutException
• 影响：服务调用超时
• 排查：
  1. 使用telnet/nc/ping测试端口
  2. 检查防火墙规则
• 解决：
  • 修正防火墙策略
  • 确保目标服务端口监听正常