JAVA面试宝典 -《Elasticsearch 深度调优实战》

文章目录

  • 一、引言：搜索引擎为啥越来越慢？
    • 1.1 典型业务场景
      • 性能瓶颈表现​​：
  • 二、倒排索引压缩：让存储与检索更高效
    • 🧠 2.1倒排索引结构简述
    • 🔧 2.2 压缩算法三剑客
    • ✅ 调优建议
  • 三、分片策略：写入性能的生命线
    • ⚠️3.1 分片数量黄金法则
    • 🔍3.2 分片写入瓶颈
    • ✅ 3.3 分片动态调整
  • 四、深度分页：性能黑洞解决方案
    • 🚨4.1 From/Size 的性能灾难
    • 🧭 4.2 高性能替代方案
      • 🔁方案一：Search After（实时分页）
      • 🔁方案二：PIT（Point In Time）
      • 方案对比
  • 五、相关性算分：从理论到业务定制
    • 🔍5.1 BM25 算法原理
    • 🎯业务相关性优化
      • 1. 字段加权：
      • 2. 结合业务数据：
  • 六、脑裂防护：集群高可用保障
    • 😱6.1 脑裂成因与影响
    • 🛡️6.2 防脑裂配置
    • ✅6.3 节点部署最佳实践
  • 七、总结与调优建议清单 ✅
    • 🔧7.1 性能调优清单
    • 🗂️7.2 冷热集群架构
    • 🖼️7.3 紧急故障处理
  • 八、技术附录
    • 🧨8.1 Java 客户端配置
    • 🛠8.2 索引生命周期管理

一、引言：搜索引擎为啥越来越慢？

在电商平台的商品检索系统中，随着商品数量的增长、筛选条件变多、排序逻辑变复杂，搜索响应变得越来越慢：

用户搜索「运动鞋」带上多个筛选条件（品牌、尺码、价格、评分等）；

排序字段组合复杂（销量 + 综合评分 + 时间）；

用户经常点击下一页，导致深度分页调用。

高并发 + 多字段组合查询 + 分页 + 相关性评分，使 Elasticsearch 性能面临瓶颈。本文将从原理与实战双维度，深入解析核心性能优化策略。

1.1 典型业务场景

在这里插入图片描述

性能瓶颈表现​​：

  • 响应时间从 50ms → 3000ms+
  • 分页越深越慢
  • 写入速度随数据量增加而下降
  • 节点负载不均（热节点 CPU 100%）

​​数据统计​​：超过深度分页请求数（from>1000）的查询，​​98%​​ 最终被用户放弃！

二、倒排索引压缩：让存储与检索更高效

🧠 2.1倒排索引结构简述

在这里插入图片描述

🔧 2.2 压缩算法三剑客

压缩方式应用场景说明
FST（Finite State Transducer）keyword 字段的 term dictionary前缀压缩，相同前缀只存一份，提高内存命中率
Roaring Bitmap布尔条件组合，如标签筛选加速 AND/OR 操作，比 bitset 更紧凑
Block-Packed EncodingdocID + 位置信息压缩Lucene 默认优化机制

✅ 调优建议

  • 合理选择字段类型：keyword 用于聚合和排序，text 用于全文搜索；
  • 对非查询字段设置 “index”: false，避免不必要的倒排索引；
  • 可关闭不需要的 _source 字段，节省存储空间。
// 创建优化映射
PUT /products
{"settings": {"index": {"number_of_shards": 12,"number_of_replicas": 1}},"mappings": {"_source": {"enabled": false    // 对不需要原始数据的场景},"properties": {"product_name": {"type": "text", "index_options": "docs"  // 仅存储文档ID},"brand_id": {"type": "keyword","index": false   // 不建索引，仅作为存储字段},"specs": {"type": "text","norms": false   // 禁用长度归一化，节省空间}}}
}

三、分片策略：写入性能的生命线

⚠️3.1 分片数量黄金法则

在这里插入图片描述

🔍3.2 分片写入瓶颈

// 分片写入伪代码
class IndexShard {void indexDocument(Document doc) {// 1. 写入事务日志（translog）writeToTranslog(doc); // 2. 刷新到内存缓冲区addToMemoryBuffer(doc);// 3. 周期性刷新到Lucene段if (shouldRefresh()) {refresh(); // 成本高昂的操作}}
}

​​写入优化配置​​：

# elasticsearch.yml
index.translog.durability: async     # 异步写translog
index.refresh_interval: 30s          # 降低刷新频率
indices.memory.index_buffer_size: 20% # 增加内存缓冲区

✅ 3.3 分片动态调整

# 扩容后重新分配分片
POST _reindex
{"source": {"index": "products-v1"},"dest": {"index": "products-v2"}
}# 限制节点分片数
PUT _cluster/settings
{"persistent": {"cluster.routing.allocation.total_shards_per_node": 100}
}

​​经验值​​：SSD 节点建议单分片不超过 50GB，HDD 不超过 30GB

四、深度分页：性能黑洞解决方案

🚨4.1 From/Size 的性能灾难

在这里插入图片描述

🧭 4.2 高性能替代方案

🔁方案一：Search After（实时分页）

GET /products/_search
{"size": 10,"query": {"match": {"category": "手机"} },"sort": [{"price": "desc"},{"_id": "asc"}  // 确保排序唯一性],"search_after": [2999, "prod_123456"] 
}

🔁方案二：PIT（Point In Time）

// Java客户端操作
OpenPointInTimeRequest pitRequest = new OpenPointInTimeRequest("products").keepAlive(TimeValue.timeValueMinutes(5));
OpenPointInTimeResponse pitResponse = client.openPointInTime(pitRequest, RequestOptions.DEFAULT);SearchRequest searchRequest = new SearchRequest().source(new SearchSourceBuilder().pointInTimeBuilder(new PointInTimeBuilder(pitResponse.getPointInTimeId())).sort(SortBuilders.fieldSort("price").order(SortOrder.DESC)).size(100));

方案对比

方案特点场景适配
Scroll API游标式分页，保持快照一致报表导出、数据迭代
search_after基于上页 sort 值定位下一页无状态分页推荐
PIT（Point In Time）7.10+ 引入，轻量快照精准分页、支持重试

五、相关性算分：从理论到业务定制

🔍5.1 BM25 算法原理

score(q,d) =  IDF(q) * [ TF(q,d) * (k1 + 1) ] / [ TF(q,d) + k1 * (1 - b + b * |d|/avgdl) ]

参数调优​​：

PUT /products
{"settings": {"index": {"similarity": {"custom_bm25": {"type": "BM25","b": 0.75,   // 长度归一化因子"k1": 1.2    // 词频饱和度}}}}
}

🎯业务相关性优化

1. 字段加权：

GET /products/_search
{"query": {"multi_match": {"query": "防水相机","fields": ["title^3",    // 标题权重3倍"features^2","description"],"type": "best_fields"}}
}

2. 结合业务数据：

GET /products/_search
{"query": {"function_score": {"query": {"match": {"name": "耳机"}},"functions": [{"filter": {"range": {"sales": {"gte": 1000}}},"weight": 2},{"script_score": {"script": {"source": "Math.log(2 + doc['click_count'].value)"}}}],"score_mode": "sum"}}
}

六、脑裂防护：集群高可用保障

😱6.1 脑裂成因与影响

在这里插入图片描述

🛡️6.2 防脑裂配置

​​配置关键参数​​：

# elasticsearch.yml 配置# 7.x+版本
discovery.seed_hosts: ["node1:9300", "node2:9300", "node3:9300"]
cluster.initial_master_nodes: ["node1", "node2", "node3"]# 通用设置
cluster.name: prod-search-cluster  # 统一集群名
node.master: true                  # 主节点角色
node.data: false                   # 专用master节点建议关闭data角色

✅6.3 节点部署最佳实践

在这里插入图片描述
部署建议​​：

  1. Master节点数：3/5/7（奇数）
  2. 跨机房部署：每个机房部署独立数据节点组
  3. 角色隔离：
    • 专用Master：3-5节点
    • 数据节点：承担data角色
    • 协调节点：client节点分离

七、总结与调优建议清单 ✅

🔧7.1 性能调优清单

类别参数/操作推荐值
​​索引设计​​分片大小10-50GB/分片
副本数量生产环境≥1
​​查询优化​​深度分页使用search_after/PIT
聚合精度设置shard_size
写入性能​​ ​​refresh_interval30s-120s
translog模式async
​​集群安全​​最小主节点discovery.zen.minimum_master_nodes=(N/2+1)
节点角色分离master/data

🗂️7.2 冷热集群架构

在这里插入图片描述

🖼️7.3 紧急故障处理

# 1. 快速定位慢查询
GET _tasks?detailed=true&actions=*search*# 2. 清除缓存（谨慎使用）
POST /products/_cache/clear# 3. 临时限制分片分配
PUT _cluster/settings
{"transient": {"cluster.routing.allocation.enable": "none"}
}

八、技术附录

🧨8.1 Java 客户端配置

public class HighLevelClientExample {public static void main(String[] args) {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")).setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.setDefaultIOReactorConfig(IOReactorConfig.custom().setIoThreadCount(4)  // 优化IO线程.build())).setRequestConfigCallback(requestConfigBuilder -> requestConfigBuilder.setConnectTimeout(5000) .setSocketTimeout(60000)));}
}

🛠8.2 索引生命周期管理

PUT _ilm/policy/hot-warm-cold-policy
{"policy": {"phases": {"hot": {"min_age": "0ms","actions": {"rollover": {"max_size": "50gb","max_age": "7d"}}},"warm": {"min_age": "7d","actions": {"shrink": {"number_of_shards": 2},"forcemerge": {"max_num_segments": 1}}},"cold": {"min_age": "30d","actions": {"allocate": {"require": {"data": "cold"}}}},"delete": {"min_age": "365d","actions": {"delete": {}}}}}
}

​​最后建议​​：生产环境部署至少3节点集群，定期进行性能压测（使用 Rally 工具）

​​讨论话题​​：你在 Elasticsearch 优化中最有成效的一项配置是什么？
👇 欢迎在评论区分享你的实战经验！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/bicheng/89803.shtml
繁体地址，请注明出处：http://hk.pswp.cn/bicheng/89803.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

克鲁斯焊接机器人保护气省气方案

克鲁斯焊接机器人保护气省气方案

在现代焊接工艺中，克鲁斯焊接机器人扮演着至关重要的角色。随着制造业对成本控制和可持续发展的日益重视，焊接过程中的保护气省气问题成为了焦点。WGFACS节气装置为克鲁斯焊接机器人的保护气省气提供了一种创新且有效的解决方案。克鲁斯焊接机器人以其高…
阅读更多...
JavaEE——多线程中的哈希表

JavaEE——多线程中的哈希表

目录前言1.HashTable2.ConcurrentHashMap总结前言 在使用多线程前，我们用HashMap类来创建哈希表，但这个类线程不安全，在这篇文章，我们将介绍多线程环境的哈希表，将会讲述HashTable, HashMap, ConcurrentHashMap这三个…
阅读更多...
MyBatis Plus SQL性能分析：从日志到优化的全流程实战指南

MyBatis Plus SQL性能分析：从日志到优化的全流程实战指南

引言 在Java开发的江湖里，MyBatis Plus（MP）早已是“效率利器”——它用极简的API封装了CRUD操作，让开发者从重复的SQL编写中解放出来。但随着项目数据量从“万级”跃升至“十万级”“百万级”，一个尴尬的现实逐渐浮现&…
阅读更多...
备忘录设计模式

备忘录设计模式

备忘录模式（Memento Pattern）是一种行为设计模式，用于捕获对象的内部状态并在需要时恢复该状态，同时不破坏对象的封装性。它适用于需要实现撤销/重做、历史记录或状态快照的场景。核心组件Originator（原发器&#xff0…
阅读更多...
【世纪龙科技】智能网联汽车环境感知系统教学难题的创新实践​

【世纪龙科技】智能网联汽车环境感知系统教学难题的创新实践​

在职业院校智能网联汽车专业教学中，环境感知系统的教学长期面临三大核心挑战：设备成本高昂导致实训资源不足、抽象原理难以直观呈现、传统教学模式难以满足产业需求。如何让学生在有限的教学条件下，深入理解激光雷达、毫米波雷达等核心部件的…
阅读更多...
ES vs Milvus vs PG vector :LLM时代的向量数据库选型指南

ES vs Milvus vs PG vector :LLM时代的向量数据库选型指南

互联网时代，关系型数据库为王。相应的，我们的检索方式也是精确匹配查询为主——查找特定的用户ID、商品编号或订单状态。但AI时代，语义检索成为常态，向量数据库成为搜索推荐系统，大模型RAG落地，自动驾驶数据…
阅读更多...
磁盘阵列技术的功能与分类

磁盘阵列技术的功能与分类

磁盘阵列技术 磁盘阵列是由多台磁盘存储器组成的一个快速、大容量、高可靠的外存子系统。现在常见的磁盘阵列称为廉价冗余磁盘阵列（Redundant Array of Independent Disk,RAID)。目前，常见的 RAID 如下所示。 廉价冗余磁盘阵列 RAID级别 RAID-0是一种不具…
阅读更多...
SpringMVC核心注解：@RequestMapping详解

SpringMVC核心注解：@RequestMapping详解

概述RequestMapping是SpringMVC中最核心的注解之一，用于将HTTP请求映射到MVC和REST控制器的处理方法上。基本功能RequestMapping主要用于：映射URL到控制器类或方法定义请求方法类型（GET、POST等）定义请求参数、请求头等条件使用位…
阅读更多...
【杂谈】硬件工程师怎么用好AI工具做失效分析

【杂谈】硬件工程师怎么用好AI工具做失效分析

最近被派到国外出差了，工作任务比较重，所以更新的频率比较低。但在出差工作的过程中，我发现在失效分析时，有相当多的时间做的是比较重复的工作。比如失效分析肯定要一些证据如图片、视频。当我们做多台设备的失效分析时&#xff0…
阅读更多...
MyBatis详解以及在IDEA中的开发

MyBatis详解以及在IDEA中的开发

MyBatis概述 MyBatis是一个优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集的过程。 核心特点 优势： SQL语句与Java代码分离，便于维护支持动态SQL，灵活性…
阅读更多...
LangGraph教程6：LangGraph工作流人机交互

LangGraph教程6：LangGraph工作流人机交互

文章目录 Human-in-the-loop(人机交互) interrupt Warning Human-in-the-loop(人机交互) 人机交互（或称“在循环中”）工作流将人类输入整合到自动化过程中，在关键阶段允许决策、验证或修正。这在基于 LLM 的应用中尤其有用，因为基础模型可能会产生偶尔的不准确性。在合规、…
阅读更多...
Linux部署Milvus数据库及Attu UI工具完全指南

Linux部署Milvus数据库及Attu UI工具完全指南

一、准备工作1.1 环境要求操作系统：Ubuntu 20.04/Debian 11/CentOS 7硬件配置：至少8GB内存，4核CPU，50GB磁盘空间网络要求：可访问互联网（用于拉取Docker镜像）1.2 安装Docker和Docker Compose1.2.…
阅读更多...
开疆智能Profinet转ModbusTCP网关连接康耐视InSight相机案例

开疆智能Profinet转ModbusTCP网关连接康耐视InSight相机案例

相机配置：硬件连接部分可以查询我的博客：点击 这里不做说明。在电子表格视图下，点击菜单 “传感器–网络设置”：选择工业协议，如图。保存作业，并按照提示重启相机。3. 相机的控制/状态字：上图中…
阅读更多...
BERT技术架构

BERT技术架构

### **一、整体定位：纯编码器架构**#### **核心设计思想**> **预训练微调**：> 1. **预训练**：在海量无标签文本上学习通用语言规律> 2. **微调**：用少量标注数据适配具体任务（如分类/问答）> **…
阅读更多...
Python+ArcGIS+AI蒸散发与GPP估算｜Penman-Monteith模型｜FLUXNET数据处理｜多源产品融合｜专业科研绘图与可视化等

Python+ArcGIS+AI蒸散发与GPP估算｜Penman-Monteith模型｜FLUXNET数据处理｜多源产品融合｜专业科研绘图与可视化等

结合Python编程与ArcGIS工具，通过AI辅助方法实现蒸散发与植被总初级生产力估算。学习国际流行的Penman-Monteith模型，掌握数据获取、处理、分析和可视化全流程，培养生态水文与双碳领域的实践应用能力。通过DeepSeek、豆包等AI工具辅助代码编写…
阅读更多...
elasticsearch+logstash+kibana+filebeat实现niginx日志收集（未过滤日志内容）

elasticsearch+logstash+kibana+filebeat实现niginx日志收集（未过滤日志内容）

单点部署 环境准备 基于Rocky9虚拟机，内存大小为4G yum -y install lrzsz useradd elkf passwd elkf#密码随意su - elk rz 导入包，笔者导使用版本为7.17.8下载地址：https://www.elastic.co/downloads/past-releases/ tar -xf elasticsearch-7…
阅读更多...
hadoop 集群问题处理

hadoop 集群问题处理

1.1.JournalNode 的作用在 HDFS HA 配置中，为了实现两个 NameNode 之间的状态同步和故障自动切换，Hadoop 使用了一组 JournalNode 来管理共享的编辑日志。具体来说，JournalNode 的主要职责包括：共享编辑日志：JournalNo…
阅读更多...
LeetCode--46.全排列

LeetCode--46.全排列

解题思路&#xff1a;1.获取信息&#xff1a;给定一个不含重复数字的数组&#xff0c;返回所有可能的全排列&#xff0c;可以按任意顺序返回提示信息&#xff1a;1 < nums.length < 6-10 < nums[i] < 102.分析题目&#xff1a;要获取到所有可能的全排列我们每次会从…
阅读更多...
云徙科技----一面（全栈开发）

云徙科技----一面（全栈开发）

一、公司是做什么业务的&#xff1f;二、介绍一下自己会用的&#xff0c;熟悉的技术栈&#xff1f;三、“在 Spring 应用中&#xff0c;当你发起一个 RESTful API 请求时&#xff08;例如 GET /api/users/1&#xff09;&#xff0c;计算机系统是如何知道这个请求的&#xff1f;…
阅读更多...
我是怎么设计一个订单号生成策略的（库存系统）

我是怎么设计一个订单号生成策略的（库存系统）

我是怎么设计一个订单号生成策略的&#xff08;库存系统&#xff09;一、背景 最近我在做一套自研的库存管理系统&#xff0c;其中有一个看似简单、实则很关键的功能&#xff1a;订单号生成策略。 订单号不仅要全局唯一&#xff0c;还要有一定的可读性和业务含义&#xff0c;比…
阅读更多...
最新文章

Copyright @ 2022~2023