【源码剖析】2-搭建kafka源码环境

在上篇文章kafka核心概念中,解释了kafka的核心概念,下面开始进行kafka源码编译。为什么学习源码需要进行源码编译呢,我认为主要有两点:

  • 可以进行debug,跟踪代码执行逻辑
  • 可以对源码改动,强化学习学习效果

安装软件列表

本文以Windows为例进行说明,需要安装的软件主要有

  • jdk-1.8
  • scala-2.10
  • gradle-3.1
  • zookeeper3.4.9
  • idea

安装jdk1.8

下载地址:https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html,下载后配置一下环境变量:

增加环境变量JAVA_HOME,值为E:\jdk-8

编辑环境变量Path,增加%JAVA_HOME%\bin

安装Scala

下载地址:https://www.scala-lang.org/files/archive/,使用此地址下载快很多,下载后配置一下环境变量:

增加环境变量SCALA_HOME,值为E:\scala-2.10.6

编辑环境变量Path,增加%SCALA_HOME%\bin

配置完成后打开终端输入scala -version

安装gradle

下载地址:https://mirrors.cloud.tencent.com/gradle/,下载后配置一下环境变量:

增加环境变量GRADLE_HOME,值为E:\gradle-3.1

编辑环境变量Path,增加%GRADLE_HOME%\bin

安装zookeeper

下载地址:https://archive.apache.org/dist/zookeeper/,可以不配置环境变量,在bin目录下直接点击zkServer.cmd,即可启动

kafka源码构建

下载源码

使用的源码版本为0.10.0.1,下载地址:https://archive.apache.org/dist/kafka/0.10.0.1/kafka-0.10.0.1-src.tgz

安装Scala插件

idea默认不支持Scala,需要在idea中安装Scala插件

配置启动kafka

log4j.properties

在kafka服务端使用log4j输出日志,启动前把config目录下的log4j.properties放到core/src/main/scala路径下

server.properties

server.properties是kafka的主要配置文件,修改以下3项即可

listeners = PLAINTEXT://your.host.name:9092log.dirs=Y:/kafka-logszookeeper.connect=192.168.0.103:2181

配置idea

在运行设置中,进行如下的配置:

  • Main class : kafka.Kafka

  • Program arguments : config/server.properties

  • Working Directory : Y:\kafka

  • Classthpath : core
    在这里插入图片描述

验证

配置完成后,点击运行,即可启动kafka,可以通过编译好的kafka脚本去尝试连接kafka进行操作,下载一份编译好的kafka,https://archive.apache.org/dist/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz,然后使用里面脚本进行操作。

Y:\kafka_2.10-0.10.1.1>bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test01
Created topic "test01".Y:\kafka_2.10-0.10.1.1>bin\windows\kafka-topics.bat --zookeeper localhost:2181 --list
test01

创建成功表示编译后的代码启动成功。

参考书籍:《kafka源码剖析》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/bicheng/84577.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

小红书视频图文提取:采集+CV的实战手记

项目说明:这波视频,值不值得采? 你有没有遇到过这样的场景?老板说:“我们得看看最近小红书上关于‘旅行’的视频都说了些什么。”团队做数据分析的,立马傻眼:官网打不开、接口抓不着、视频不能…

Cloudflare 从 Nginx 到 Pingora:性能、效率与安全的全面升级

在互联网的快速发展中,高性能、高效率和高安全性的网络服务成为了各大互联网基础设施提供商的核心追求。Cloudflare 作为全球领先的互联网安全和基础设施公司,近期做出了一个重大技术决策:弃用长期使用的 Nginx,转而采用其内部开发…

从编辑到安全设置: 如何满足专业文档PDF处理需求

随着数字化办公的发展,PDF 已成为跨平台文档交互的标准格式。无论是在日常办公、学术研究,还是项目协作中,对 PDF 文件进行高效编辑与管理的需求日益增长。功能全面、操作流畅且无额外负担的 PDF 编辑工具,它是一款在功能上可与 A…

Kafka消费者组位移重设指南

#作者:张桐瑞 文章目录 一、Kafka 与传统消息引擎的核心差异二、重设消费者组位移的核心原因三、重设位移的两大维度与七种策略四、重设位移的实现方式(一)Java API 方式(二)命令行脚本方式(Kafka 0.11&am…

分类模型:逻辑回归

1、针对设计:二分类 Logistic 回归最初是为二分类问题设计的, Logistic 回归基于概率,通过 Sigmoid 函数转换输入特征的线性组合,将任意实数映射到 [0, 1] 区间内。 通过引入一个决策规则(通常是概率的阈值&#xff…

CppCon 2015 学习:C++ WAT

这段代码展示了 C 中的一些有趣和令人困惑的特性,尤其是涉及数组访问和某些语法的巧妙之处。让我们逐个分析: 1. assert(map[“Hello world!”] e;) 这一行看起来很不寻常,因为 map 在这里被用作数组下标访问器,但是在前面没有…

vscode自定义主题语法及流程

vscode c/c 主题 DIY 启用自己的主题(最后步骤) 重启生效 文件–>首选项–>主题–>颜色主题: 也可以在插件里找到哈 手把手教你制作 在C:\Users\jlh.vscode\extensions下自己创建一个文件夹 里面有两个文件和一个文件夹 具体内容: package.json: {"name&…

前端传递日期范围(开始时间和结束时间),后端解析及查询

前端技术&#xff1a;Vue3 TypeScript Element Plus 后端技术&#xff1a;Java Spring Boot MyBatis 应用效果&#xff1a; 原来方案 1、前端日期控件使用 el-date-picker&#xff0c;日期显示格式和日期值返回格式都为&#xff1a;YYYY-MM-DD <el-form :model"…

零基础设计模式——行为型模式 - 命令模式

第四部分&#xff1a;行为型模式 - 命令模式 (Command Pattern) 接下来&#xff0c;我们学习行为型模式中的命令模式。这个模式能将“请求”封装成一个对象&#xff0c;从而让你能够参数化客户端对象&#xff0c;将请求排队或记录请求日志&#xff0c;以及支持可撤销的操作。 …

禁止 Windows 更新后自动重启

Windows 默认会在安装重要更新后自动重启&#xff0c;但你可以调整设置来避免这种情况&#xff1a; ​​方法 1&#xff1a;通过组策略&#xff08;适用于 Windows 专业版/企业版&#xff09;​​ 按 Win R&#xff0c;输入 gpedit.msc 打开 ​​本地组策略编辑器​​。导航…

GoldenDB简述

GoldenDB是国产的分布式数据库。它彻底解决了事务一致性&#xff0c;数据实时一致性的问题。采用的是Shared Nothing&#xff08;分片式存储&#xff09;的分布式架构。就是不共享数据&#xff0c;各自节点持有各自的数据。对比不共享的&#xff0c;还有其他两种分布式架构&…

训练过程中的 Loss ?

文章目录 在我们训练的过程中&#xff0c;设置好这个epochs也就是训练的轮次&#xff0c;然后计算这个损失函数&#xff0c;我们可以知道这个具体的训练的情况&#xff0c;那么在训练的过程中&#xff0c;这个损失函数的变化有哪些情况&#xff1f;对应的一个解释情况是怎么样的…

S2B2B农产品供应链交易多平台开发有哪些发展前景?如何维护?

一、S2B2B农产品供应链交易多平台开发的未来发展前景 本文将由小编为您介绍关于S2B2B农产品供应链交易多平台开发的内容&#xff0c;希望能够帮助大家。在数字化时代&#xff0c;农产品供应链的数字化转型成为了一种必然趋势。S2B2B(Supplier to Business to Business)模式通过…

关于有害的过度使用 std::move

翻译&#xff1a;2023 11 月 24 日On harmful overuse of std::move cppreference std::move 论 std::move 的有害过度使用 - The Old New Thing C 的 std::move 函数将其参数转换为右值引用&#xff0c;这使得其内容可以被另一个操作“消费”&#xff08;移动&#xff09;。…

Ubuntu24.04 onnx 模型转 rknn

前面的环境配置有点懒得写&#xff0c;教程也很多&#xff0c;可以自己找 rknn-toolkit2 gitee 地址&#xff1a;pingli/rknn-toolkit2 试了很多开源的代码&#xff0c;都没办法跑通&#xff0c; 最后自己改了一版 微调后的 qwen2 模型适用 from rknn.api import RKNN impor…

Electron通信流程

前言 今天讲Electron框架的通信流程&#xff0c;首先我们需要知道为什么需要通信。这得益于Electron的多进程模型&#xff0c;它主要模仿chrome的多进程模型如下图&#xff1a; 作为应用开发者&#xff0c;我们将控制两种类型的进程&#xff1a;主进程和渲染器进程 。 …

uni-app项目实战笔记1--创建项目和实现首页轮播图功能

ps:本笔记来自B站咸虾米壁纸项目 一.创建项目&#xff0c;完成项目初始化搭建 1.在HBuilder X创建wallper项目&#xff0c;使用默认模块&#xff0c;选择vue&#xff1b; 2.在项目根目录下创建common目录&#xff0c;用于存放静态资源&#xff0c;创建项目时自动生成static目…

机械制造系统中 PROFINET 与 PROFIBUS-DP 的融合应用及捷米科技解决方案

在机械制造领域&#xff0c;工业通信网络的兼容性与灵活性直接影响产线的自动化水平与生产效率。当前&#xff0c;多数机械制造系统采用PROFINET 控制器构建核心网络架构&#xff0c;并通过微波无线连接实现设备互联。随着工业网络的发展&#xff0c;系统中常需同时集成PROFINE…

MCP 协议系列序言篇:开启 AI 应用融合新时代的钥匙

文章目录 序言&#xff1a;AI 应用层进入 MCP 时代为什么 MCP 开启 AI 应用融合新时代的钥匙为什么是 MCP&#xff1f;它与 Function Calling、Agent 有什么区别&#xff1f;Function CallingAI AgentMCP&#xff08;Model Context Protocol&#xff09; MCP 如何工作MCP Serve…

【threejs】每天一个小案例讲解:光照

代码仓 GitHub - TiffanyHoo/three_practices: Learning three.js together! 可自行clone&#xff0c;无需安装依赖&#xff0c;直接liver-server运行/直接打开chapter01中的html文件 运行效果图 知识要点 常见光照类型及其特点如下&#xff1a; 1. 环境光&#xff08;Ambi…