基础篇

Q1: Kafka为什么能这么快？

A: Kafka的高性能主要来自三大核心技术：

1. 零拷贝(Zero-Copy)：通过sendfile()系统调用，数据直接从磁盘到网卡，避免了内核态和用户态之间的多次拷贝
2. 页缓存(Page Cache)：消息直接写入操作系统页缓存而非JVM内存，减少GC影响并利用OS缓存机制
3. 内存映射(mmap)：索引文件通过内存映射实现，操作内存即操作文件

Q2: Kafka的存储结构是怎样的？

A: Kafka采用分片-分段式存储：

• 每个Topic分为多个Partition（提高并行度）
• 每个Partition物理上分为多个Segment文件（默认1GB）
• 每个Segment包含两个文件：
  • .log文件存储实际消息
  • .index文件存储消息偏移量索引
• 写入采用顺序追加方式，充分利用磁盘顺序I/O性能

可靠性篇

Q3: Kafka如何保证消息不丢失？

A: 需要三方协同保障：

生产者端：

• 设置acks=all（等待所有ISR副本确认）
• 启用重试机制retries=MAX_INT
• 使用幂等生产者或事务

Broker端：

• 设置replication.factor≥3（多副本）
• 配置min.insync.replicas≥2（最小同步副本数）
• 禁用unclean.leader.election（防止数据不一致）

消费者端：

• 禁用自动提交enable.auto.commit=false
• 处理完成后手动提交偏移量

consumer.commitSync();  // 同步提交
// 或 
consumer.commitAsync(); // 异步提交

Q4: ISR和OSR是什么？

A: Kafka的副本管理机制：

• ISR(In-Sync Replicas)：与Leader保持同步的副本集合
• OSR(Out-of-Sync Replicas)：落后于Leader的副本
• 高水位(High Watermark)：标识已成功复制到所有ISR的消息位置
• 只有ISR中的副本才有资格成为Leader，通过replica.lag.time.max.ms控制同步阈值

生产者篇

Q5: 如何实现生产者幂等性？

A: 通过三个机制保证：

1. PID(Producer ID)：每个生产者唯一标识
2. Sequence Number：每个消息的分区级序列号
3. Broker端去重：缓存最近接收的序列号

启用方式：

enable.idempotence=true

Q6: Kafka事务如何工作？

A: 事务实现跨分区原子写入：

1. 两阶段提交：
   • 阶段1：标记事务开始
   • 阶段2：提交/中止事务
2. 事务协调器：管理事务状态
3. 事务日志：持久化事务状态

代码示例：

producer.initTransactions();
try {producer.beginTransaction();producer.send(record1);producer.send(record2); producer.commitTransaction();
} catch (Exception e) {producer.abortTransaction();
}

消费者篇

Q7: 什么是Consumer Rebalance？

A: 消费者组重新分配分区的过程：

触发条件：

• 消费者加入/离开组
• Topic分区数变化
• 订阅Topic变化

优化策略：

• 增量Rebalance：仅重新分配变化的分区
• Sticky分配：尽量保留原有分配关系
• 参数调优：

  session.timeout.ms=6000
  heartbeat.interval.ms=2000
  

Q8: 如何避免消息重复消费？

A: 结合多种策略：

1. 消费者幂等处理：业务逻辑实现去重
2. 外部存储去重：利用Redis等记录已处理消息ID
3. 事务消费：配合Kafka事务实现精确一次处理
4. 偏移量管理：确保先处理再提交

高级特性篇

Q9: Kafka如何实现死信队列？

A: 原生不支持但可自建：

1. 创建专门的DLQ Topic
2. 消费失败时发送到DLQ：

try {process(record);
} catch (Exception e) {ProducerRecord<String, String> dlqRecord = new ProducerRecord<>("dlq_topic", record.key(), record.value());dlqProducer.send(dlqRecord);
}

3. DLQ消息应包含原始Topic、分区、偏移量等元数据

Q10: Kafka架构有哪些重要演进？

A: 两个关键阶段：

1. ZooKeeper时代：

   • 依赖ZK进行控制器选举
   • 元数据存储在ZK
   • 运维复杂度高

2. KRaft模式：

   • 移除ZK依赖
   • 使用Raft协议自管理元数据
   • 简化部署架构（KIP-500）

---

知识扩展：Kafka的性能优化本质上是对计算机体系结构的深度理解——零拷贝利用了DMA技术，页缓存利用了局部性原理，而顺序I/O则规避了机械磁盘的寻道瓶颈。这些设计哲学值得所有分布式系统借鉴。