Kafka基础理论

Kafka概述

kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域。kafka采取了发布/订阅模式，消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接受感兴趣的消息。

消息队列

  1. 传统的消息队列的主要应用场景包括：缓存/削峰、解耦和异步通信。

    • 缓冲/削峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
      在这里插入图片描述

    • 解耦：允许独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
      在这里插入图片描述

    • 异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理它们。
      在这里插入图片描述

  2. 消息队列的两种模式

    • 点对点模式：消费者主动拉取数据，消息收到后清除mq里的消息
    • 发布/订阅模式：可以有多个topic主题；消费者消费数据之后，不删除数据；每个消费者相互独立，都可以消费到数据。

Kafka基础架构

  1. Producer：消息生产者，就是向 Kafka broker 发消息的客户端。
  2. Consumer：消息消费者，向 Kafka broker 取消息的客户端。
  3. Consumer Group（CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
  4. Broker：一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个broker 可以容纳多个 topic。
  5. Topic：可以理解为一个队列，生产者和消费者面向的都是一个 topic。
  6. Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个partition，每个 partition 是一个有序的队列。
  7. Replica：副本。一个 topic 的每个分区都有若干个副本，一个 Leader 和若干个Follower。
  8. Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 Leader。
  9. Follower：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和Leader 数据的同步。Leader 发生故障时，某个 Follower 会成为新的 Leader。
  10. zk中记录谁是leader，kafka2.8之后也可以不配置zk。

在这里插入图片描述

Kafka的安装部署

笔者是采用k8s的方式在云服务器上部署kafka的，具体的安装步骤，大家可以参考这篇博客：https://blog.csdn.net/weixin_46619605/article/details/146170695，这里就不再叙述。

Kafka的命令行操作

主题命令行操作

  1. 查看操作主题命令参数

      bin/kafka-topics.sh

  2. 查看当前服务器中的所有topic

    bin/kafka-topics.sh --bootstrap-server xx:xx --list

    在这里插入图片描述

生产者命令行操作

  1. 查看操作生产者命令参数
    bin/kafka-console-producer.sh
    在这里插入图片描述

消费者命令行操作

  1. 查看操作消费者命令参数

    bin/kafka-console-consumer.sh

    在这里插入图片描述
    在这里插入图片描述

生产者消息发送流程

  • 发送原理
    在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。

在这里插入图片描述

  • 生产者分区
    1. 便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。
    2. 提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据。

Kafka Broker总体工作流程

在这里插入图片描述

Kafka副本

  1. Kafka 副本作用：提高数据可靠性。
  2. Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。
  3. Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader，然后 Follower 找 Leader 进行同步数据。
  4. Kafka 分区中的所有副本统称为 AR（Assigned Repllicas）。
    AR = ISR + OSR
    ISR，表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR。该时间阈值由 replica.lag.time.max.ms参数设定，默认 30s。Leader 发生故障之后，就会从 ISR 中选举新的 Leader。
    OSR，表示 Follower 与 Leader 副本同步时，延迟过多的副本。

在这里插入图片描述
在这里插入图片描述

文件存储机制

在这里插入图片描述

文件清理策略

Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。

  • log.retention.hours，最低优先级小时，默认 7 天。
  • log.retention.minutes，分钟。
  • log.retention.ms，最高优先级毫秒。
  • log.retention.check.interval.ms，负责设置检查周期，默认 5 分钟。

Kafka中提供的日志清理策略有delete和compact。

  • delete日志删除：将过期数据删除
    log.cleanup.policy = delete 所有数据启用删除策略
    1. 基于时间：默认打开。以 segment 中所有记录中的最大时间戳作为该文件时间戳。
    2. 基于大小：默认关闭。超过设置的所有日志总大小，删除最早的 segment。
      log.retention.bytes，默认等于-1，表示无穷大。
  • compact日志压缩：对于相同的key的不同value值，只保留最后一个版本。

高效读写数据

  1. Kafka 本身是分布式集群，可以采用分区技术，并行度高
  2. 读数据采用稀疏索引，可以快速定位要消费的数据
  3. 顺序写磁盘
    Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。
  4. 页缓存+零拷贝技术
    PageCache页缓存：Kafka重度依赖底层操作系统提供的PageCache功 能。当上层有写操作时，操作系统只是将数据写入PageCache。当读操作发生时，先从PageCache中查找，如果找不到，再去磁盘中读取。实际上PageCache是把尽可能多的空闲内存都当做了磁盘缓存来使用。
    零拷贝：Kafka的数据加工处理操作交由Kafka生产者和Kafka消费者处理。Kafka Broker应用层不关心存储的数据，所以就不用走应用层，传输效率高。

Kafka消费方式

  • pull模式：consumer采用从broker中主动拉取数据。kafka采用这种方式。不足之处，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。
  • push模式：Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率。

Kafka消费者工作流程

在这里插入图片描述

消费者组原理

Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。

  • 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。
  • 消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
  • 如果向消费组中添加更多的消费者，超过主题分区数量，则有一部分消费者就会闲置，不会接收任何消息。
    在这里插入图片描述

消费者组初始化流程

在这里插入图片描述

消费者详细消费流程

在这里插入图片描述

消费offset 位移

__consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic 进行compact，也就是每个 group.id+topic+分区号就保留最新数据。

  1. 为了使我们能够专注于自己的业务逻辑，Kafka提供了自动提交offset的功能。
    自动提交offset的相关参数：

    • enable.auto.commit：是否开启自动提交offset功能，默认是true
    • auto.commit.interval.ms：自动提交offset的时间间隔，默认是5s

  2. 虽然自动提交offset十分简单便利，但由于其是基于时间提交的，开发人员难以把握offset提交的时机。因此Kafka还提供了手动提交offset的API。手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。两者的相同点是，都会将本次提交的一批数据最高的偏移量提交；不同点是，同步提交阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而异步提交则没有失败重试机制，故有可能提交失败。

    • commitSync（同步提交）：必须等待offset提交完毕，再去消费下一批数据。
    • commitAsync（异步提交） ：发送完提交offset请求后，就开始消费下一批数据了。

指定Offset消费

auto.offset.reset = earliest | latest | none 默认是 latest。
当 Kafka 中没有初始偏移量（消费者组第一次消费）或服务器上不再存在当前偏移量时（例如该数据已被删除），该怎么办？

  1. earliest：自动将偏移量重置为最早的偏移量，–from-beginning。
  2. latest（默认值）：自动将偏移量重置为最新偏移量。
  3. none：如果未找到消费者组的先前偏移量，则向消费者抛出异常。
  4. 任意指定 offset 位移开始消费。

漏消费和重复消费

重复消费：已经消费了数据，但是 offset 没提交。
漏消费：先提交 offset 后消费，有可能会造成数据的漏消费。
在这里插入图片描述

消费者事务

在这里插入图片描述

数据积压（消费者如何提高吞吐量）

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/pingmian/95803.shtml
繁体地址，请注明出处：http://hk.pswp.cn/pingmian/95803.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

苍穹外卖项目实战（day-5完整版）-记录实战教程及问题的解决方法

苍穹外卖项目实战（day-5完整版）-记录实战教程及问题的解决方法

Redis基本操作及下载安装包（Redis及可视化工具），都在我的上一篇文章：Redis基本知识及简单操作，这里不再赘述 店铺营业状态修改功能 （1）需求分析与设计 （2）SpringDataRe…
阅读更多...
第R8周：RNN实现阿尔兹海默病诊断

第R8周：RNN实现阿尔兹海默病诊断

数据集包含2149名患者的广泛健康信息，每名缓则的ID范围从4751到6900不等，该数据集包含人口统计详细信息，生活方式因素、病史、临床测量、认知和功能评估、症状以及阿尔兹海默症的诊断。 一、准备工作 1、硬件准备 import numpy as np import …
阅读更多...
MySQL复制技术的发展历程

MySQL复制技术的发展历程

在互联网应用不断发展的二十多年里，MySQL 一直是最广泛使用的开源关系型数据库之一。它凭借开源、轻量、灵活的优势，支撑了无数网站、移动应用和企业系统。支撑 MySQL 长期发展的关键之一，就是 复制（Replication）技术。…
阅读更多...
C++从字符串中移除前导零

C++从字符串中移除前导零

该程序用于去除字符串开头的零字符。当输入"0000123456"时，程序会输出"123456"。核心函数removeZero()通过while循环找到第一个非零字符的位置，然后使用erase()方法删除前面的所有零。主函数读取输入字符串并调用该函数处理。程序简…
阅读更多...
【面试题】C++系列（一）

【面试题】C++系列（一）

本专栏文章持续更新，新增内容使用蓝色表示。C面向对象的三大特性：封装，继承，多态（1）封装是将数据和函数组合到一个类里。主要目的是隐藏内部的实现细节，仅暴露必要的接口给外部。通过封装&#…
阅读更多...
当没办法实现从win复制东西到Linux虚拟机时的解决办法

当没办法实现从win复制东西到Linux虚拟机时的解决办法

① 先确认是否已安装bash复制sudo apt list --installed | grep open-vm-tools如果 没有任何回显 → 没装，跳到 ③如果看到 open-vm-tools 已安装 → 继续 ②② 启动正确的服务（单词别打错）bash复制systemctl status vmtoolsd # 查看…
阅读更多...
用Markdown写自动化用例：Gauge实战全攻略！

用Markdown写自动化用例：Gauge实战全攻略！

你作为一名自动化测试工程师，正在为一个复杂的Web应用编写测试脚本：传统工具要求写大量代码，维护起来像解谜游戏，团队非技术成员完全插不上手。这时，Gauge这个“自动化神器”如魔法般出现——它允许用Markdown写可读的…
阅读更多...
Unity开发保姆级教程：C#脚本+物理系统+UI交互，3大模块带你通关游戏开发

Unity开发保姆级教程：C#脚本+物理系统+UI交互，3大模块带你通关游戏开发

文章目录基础概念Unity开发环境搭建版本选择：为什么2021 LTS是最佳起点？三步安装：从下载到项目创建界面认知：5分钟掌握核心操作区配置优化：让开发更顺畅验证环境：创建你的第一个CubeC#基础语法与Unity脚本结…
阅读更多...
Depth Anything V2论文速读

Depth Anything V2论文速读

这篇论文主要讲了两方面1.为了解决模型在正常标注的现实图像上训练的缺陷问题、提出了新的模型训练数据和训练方法真实标记图像存在缺点：标签噪声（深度传感器可能存在空洞、玻璃等物体反射导致精度不准确）、标签细节粗糙（深度图边…
阅读更多...
数据库原理及应用_数据库管理和保护_第5章数据库的安全性_理论部分

数据库原理及应用_数据库管理和保护_第5章数据库的安全性_理论部分

前言 "<数据库原理及应用>(MySQL版)".以下称为"本书"中第5章前6节内容 引入 数据库的安全性是非常重要的,表现在两个方面:一数据的访问权限,二数据的物理安全.本书在这一章前6节基本上都是理论性的内容,选择其中重要部分进行解读. 5.1数据库安全性…
阅读更多...
QT6 配置 Copilot插件

QT6 配置 Copilot插件

下载项目&#xff1a;解压 GitHub - github/copilot.vim: Neovim plugin for GitHub Copilot Node.js必须安装 Node.js — Download Node.js 例如先安装一个qt6 ,qt Cteatror选择新版本的 设置 效果&#xff0c;注释里面写要求&#xff0c;tab同意 #include "mainwindow…
阅读更多...
ArcGIS学习-15 实战-建设用地适宜性评价

ArcGIS学习-15 实战-建设用地适宜性评价

选定参评因子 高程坡度河流道路土地利用 确定因子分析标准 以下仅参数仅做展示&#xff0c;并非合理的数值 高程 0-100m&#xff1a;100 分&#xff0c;此高程范围通常地势较为平坦&#xff0c;建设成本相对较低&#xff0c;适宜建设。100-200m&#xff1a;70 分&#xff…
阅读更多...
[C/C++学习] 7.“旋转蛇“视觉图形生成

[C/C++学习] 7.“旋转蛇“视觉图形生成

参考文献: 童晶. C和C游戏趣味编程[M].人民邮电出版社.2021. 一.弧度制和角度制的转换 弧度制数值和角度对应表: (PI为圆周率&#xff0c;值为3.1415926)弧度制角度制00PI/630PI/360PI/2902*PI/3120PI1802*PI360二.扇形的绘制 easyx的solidpie( )函数用于在一个矩形区域内绘制…
阅读更多...
自然语言处理之PyTorch实现词袋CBOW模型

自然语言处理之PyTorch实现词袋CBOW模型

在自然语言处理&#xff08;NLP&#xff09;领域&#xff0c;词向量&#xff08;Word Embedding&#xff09;是将文本转换为数值向量的核心技术。它能让计算机“理解”词语的语义关联&#xff0c;例如“国王”和“女王”的向量差可能与“男人”和“女人”的向量差相似。而Word2…
阅读更多...
TCP, 三次握手, 四次挥手, 滑动窗口, 快速重传, 拥塞控制, 半连接队列, RST, SYN, ACK

TCP, 三次握手, 四次挥手, 滑动窗口, 快速重传, 拥塞控制, 半连接队列, RST, SYN, ACK

目录 TCP 是什么&#xff1a;面向连接 可靠 字节流三次握手&#xff1a;为什么不是两次四次挥手与 TIME_WAIT&#xff1a;谁等谁序列号/确认号与去重、排序、确认重传机制&#xff1a;超时重传与快速重传滑动窗口与流量控制拥塞控制&#xff1a;慢启动/拥塞避免/快重传/快恢…
阅读更多...
CentOS 7.2 虚机 ssh 登录报错在重启后无法进入系统

CentOS 7.2 虚机 ssh 登录报错在重启后无法进入系统

文章目录前言1. 故障描述2. 故障诊断3. 故障原因4. 解决方案总结前言 上周帮用户处理了一个 linux 虚拟机在重启后无法正常进入操作系统的故障&#xff0c;觉得比较有意思&#xff0c;在这里分享给大家。 1. 故障描述 事情的起因是一台系统版本为 CentOS 7.2 的 VMware 虚拟机…
阅读更多...
《从使用到源码：OkHttp3责任链模式剖析》

《从使用到源码：OkHttp3责任链模式剖析》

一 从使用开始0.依赖引入implementation ("com.squareup.okhttp3:okhttp:3.14.7")1.创建OkHttpClient实例方式一&#xff1a;直接使用默认配置的Builder//从源码可以看出&#xff0c;当我们直接new创建OkHttpClient实例时&#xff0c;会默认给我们配置好一个Builder …
阅读更多...
安装3DS MAX 2026后，无法运行，提示缺少.net core的解决方案

安装3DS MAX 2026后，无法运行，提示缺少.net core的解决方案

今天安装了3DS MAX 2026&#xff08;俗称3DMAX&#xff09;&#xff0c;安装完毕后死活运行不了。提示如下&#xff1a; 大意是找不到所需的.NET Core 8库文件。后来搜索了下&#xff0c;各种文章说.NET CORE和.NET FRAMEWORK不是一个东西。需要单独下载安装。然后根据提示&…
阅读更多...
FastAPI + LangChain 和 Spring AI + LangChain4j

FastAPI + LangChain 和 Spring AI + LangChain4j

FastAPI+LangChain和Spring AI+LangChain4j这两个技术组合进行详细对比。 核心区别： 特性维度 FastAPI + LangChain (Python栈) Spring AI + LangChain4j (Java栈) 技术栈 Python生态 (FastAPI, LangChain) Java生态 (Spring Boot, Spring AI, LangChain4j) 核心设计哲学 灵活…
阅读更多...
Apache 2.0 开源协议详解：自由、责任与商业化的完美平衡-优雅草卓伊凡

Apache 2.0 开源协议详解：自由、责任与商业化的完美平衡-优雅草卓伊凡

Apache 2.0 开源协议详解&#xff1a;自由、责任与商业化的完美平衡-优雅草卓伊凡引言由于我们优雅草要推出收银系统&#xff0c;因此要采用开源代码&#xff0c;卓伊凡目前看好了一个产品是apache 2.0协议&#xff0c;因此我们有必要深刻理解apache 2.0协议避免触犯版权问题。…
阅读更多...
最新文章

Copyright @ 2022~2023