Elasticsearch创建索引分片和副本大小建议

在Elasticsearch中,‌分片(shard)和副本(replica)‌ 的设置直接影响集群性能、容错能力和扩展性。以下是最佳实践指南:


核心概念

类型描述是否可修改
主分片(Primary Shard)数据的最小存储单元,每个索引被拆分成多个主分片❌ 索引创建后不可修改
副本分片(Replica Shard)主分片的完整拷贝,提供数据冗余和读取负载均衡✅ 随时动态调整

配置原则

1. 分片数设置规则
  • 黄金法则‌:每个分片大小控制在 ‌10-50GB‌ 之间
  • 计算公式‌:
    主分片数 = 总数据量 / 单分片容量(建议30GB)
    例如:1TB数据 → 1000GB / 30GB ≈ 33个分片
  • 最大限制‌:
    单个节点建议不超过 ‌20-25个分片/GB堆内存
    (如32GB内存节点,最多600-800个分片)
2. 副本数设置规则
场景推荐副本数说明
开发/测试环境0-1节省资源
生产环境(常规)1-2平衡冗余和存储成本
高可用关键业务2-3允许同时宕机2个节点
海量读取场景3-5提升查询吞吐量

配置示例

创建索引时指定(关键步骤!)

PUT /your_index { "settings": { "number_of_shards": 5, // 主分片数 "number_of_replicas": 2 // 每个主分片的副本数 } }

动态调整副本数(无需停机)

PUT /your_index/_settings { "index.number_of_replicas": 1 }


高级优化策略

  1. 热温架构(Hot-Warm)

    { "index.routing.allocation.require.data_type": "hot" // 热节点存放新数据 }

  2. 分片自动平衡

    # elasticsearch.yml cluster.routing.allocation.balance.shard: 0.3 # 分片均衡因子(默认0.45)

  3. 分片分布约束

    PUT _cluster/settings { "persistent": { "cluster.routing.allocation.awareness.attributes": "rack_id" } }


监控与诊断命令

  1. 查看分片分布:

    GET _cat/allocation?v&s=node

  2. 定位大分片:

    GET _cat/indices/*?v&h=index,pri,rep,shards,store.size&s=store.size:desc

  3. 分片移动记录:

    GET _cat/recovery?active_only=true


常见问题解决方案

问题1:分片过大(>50GB)
👉 解决方案:

  • 创建新索引时增加主分片数
  • 使用Reindex API拆分数据

问题2:节点间分片不均衡
👉 解决方案:

PUT _cluster/settings { "transient": { "cluster.routing.rebalance.enable": "all" } }

问题3:副本同步延迟
👉 优化方案:

  • 增加index.translog.sync_interval
  • 升级硬件(SSD提升IOPS)

分片容量计算器(示例)

预估数据量数据增长率节点数推荐分片数推荐副本数
500GB低(5%/月)310-151-2
5TB中(10%/月)8100-1502-3
50TB高(20%/月)20+500+2-3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/95440.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/95440.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“人工智能+虚拟仿真”开启新学期智慧学习之旅

在教育领域掀起数字化革新浪潮的今天,新学期的开启不仅意味着知识探索新征程的起步,更蕴含着教育模式深度变革的无限可能。虚拟仿真技术作为教育现代化的关键驱动力,正重塑学习体验,引领教育范式转移。人工智能与虚拟仿真技术的结…

Photoshop用户必看:让你的PSD像JPG一样可预览

软件介绍 Photoshop缩略图补丁插件3.8.0.96是一款实用的工具,它能够将PSD格式的文件(Photoshop的专用格式)以缩略图的形式显示出来。这一功能极大地提升了用户在管理和查找图像文件时的效率,使得看图、找图变得更加轻松便捷。该插…

idea2025.1.5安装+pj

写在前边:如果是卸载旧版本IDEA重装,一定记得之前的插件啥的,截个图。还有主题字体设置啥的 目录背景原因卸载原来版本安装教程背景原因 原来的2022.2不支持jdk21的语言版本 卸载原来版本 1、如何彻底卸载 IDE, 可参考这篇的文章&#xff…

(四)Python控制结构(条件结构)

程序中的语句默认会按照自上而下的顺序逐条执行,但通过一些特定的语句可以更改语句的执行顺序,使之产生跳跃、回溯等现象,进而灵活地控制程序的执行流程。控制结构是编程中用于控制程序执行流程的语句,程序的三种基本控制结构为&a…

血缘元数据采集开放标准:OpenLineage Guides 使用 Apache Airflow® 和 OpenLineage + Marquez 入门

OpenLineage 是一个用于元数据和血缘采集的开放标准,专为在作业运行时动态采集数据而设计。它通过统一的命名策略定义了由作业(Job)、运行实例(Run)和数据集(Dataset) 组成的通用模型&#xff0…

FPGA|Quartus II 中使用TCL文件进行引脚一键分配

在FPGA设计过程中,合理的引脚分配是确保硬件功能正确实现的关键步骤之一。Quartus II 提供了通过 TCL(Tool Command Language)脚本自动化引脚分配的功能,这不仅可以大大提高设计效率,还能够确保引脚分配的精确性和可重…

【Docker/Redis】服务端高并发分布式结构演进之路

目录 概述 常见概念 基本概念 应用(Application)/ 系统(System) 模块(Module)/ 组件(Component) 分布式(Distributed) 集群(Cluster&#x…

【Excel】将一个单元格内​​的多行文本,​​拆分成多个单元格,每个单元格一行​​

​​所有文本都堆积在“prefix”列顶部的同一个单元格里(很可能是B10单元格),并且它们是用空格分隔的,而不是换行符。​​因此,您不需要处理换行符,而是需要​​按“空格”进行分列,并且将分列后…

新手SEO操作第一步

内容概要 网站优化对于新手而言,常常感觉无从下手。别担心,这篇文章就是为你量身打造的入门指南。我们将从最基础也是最重要的关键词研究开始讲起,手把手教你如何精准找到目标用户搜索的词。掌握了关键词,接下来就是如何创作出搜索…

【高阶数据结构】秘法(一)——并查集:探索如何高效地管理集合

前言: 前面我们已经学习了简单的数据结构,包括栈与队列、二叉树、红黑树等等,今天我们继续数据结构的学习,但是难度上会逐渐增大,在高阶数据结构中我们要学习的重点是图等 目录 一、并查集的原理 二、并查集的基本操作…

spring boot 整合AI教程

1、pom.xml配置<?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4…

基于SpringBoot2+Vue2开发的储物柜管理系统

角色 管理员&#xff1a;管理系统、用户&#xff0c;管理储物柜用户&#xff1a;借用、归还储物柜&#xff0c;报修故障 技术栈 后端&#xff1a;Springboot2, JWT, PageHelper前端&#xff1a;Vue2数据库&#xff1a;MySQL 核心功能 提供智能储物柜管理&#xff0c;包括用户注…

uniapp中输入金额的过滤(只允许输入数字和小数点)

一、完整代码&#xff1a; <template><view class"numberIndex" :style"{ paddingTop: navbarHeight px }"><view class"custom-navbar" :style"{ paddingTop: statusBarHeight px }"><view class"navbar…

系统科学核心概念辨析及其在人工智能领域的应用研究:一个整合性分析框架

摘要&#xff1a;本文旨在系统性地梳理和辨析系统科学中的核心概念——结构、功能与层级。文章首先追溯系统思想的理论源流&#xff0c;确立其作为一种超越还原论的整体性研究范式。在此基础上&#xff0c;深度剖析系统结构的内在构成&#xff08;组分、框架、动态性&#xff0…

Ubuntu环境下删除Docker镜像与容器、配置静态IP地址

删除Docker镜像与容器删除容器&#xff1a;要删除特定的Docker容器&#xff0c;首先需要停止该容器&#xff1a;docker stop <container_id_or_name>然后可以使用以下命令删除它&#xff1a;docker rm <container_id_or_name>如果要强制删除正在运行的容器&#xf…

零样本视觉模型(DINOv3)

DINOv3是Meta于2025年8月14日发布的第三代自监督视觉基础模型&#xff0c;通过17亿张无标注图像训练&#xff0c;参数规模最大达70亿&#xff0c;首次在密集预测任务中全面超越弱监督模型&#xff0c;成为计算机视觉领域的里程碑。其核心突破在于无需人工标注即可生成高分辨率密…

【机器学习入门】5.2 回归的起源——从身高遗传到线性模型的百年演变

提到 “回归”&#xff0c;很多刚入门的同学会觉得它是个抽象的数学概念&#xff0c;但你可能想不到&#xff0c;这个术语的诞生&#xff0c;竟然源于 19 世纪一位生物学家对 “身高遗传” 的研究。回归分析从 “观察生物现象” 出发&#xff0c;逐步发展成机器学习中预测连续值…

轻型载货汽车变速器设计cad+设计说明书

摘 要 变速器是汽车重要的传动系组成&#xff0c;在较大范围内改变汽车行驶速度的大小和汽车驱动轮上扭矩的大小。变速器能在发动机旋转方向不变的前提下&#xff0c;使汽车倒退行驶&#xff0c;而且利用挡位可以中断动力的传递。所以变速器的结构设计的合理性直接影响到汽车动…

如何对嵌入式软件进行单元测试

ceedling就是一款嵌入式软件测试框架。ceedling是一个用ruby语言编写的C语言自动化测试框架&#xff0c;它集成了Cmock、Unity和Cexception等多个开源项目。在整个ceedling框架中&#xff0c;使用unity进行代码测试&#xff0c;使用CMock生成模拟函数&#xff0c;使用CExceptio…

通义万相Wan2.2-S2V-14B:AI视频生成的革命性突破与实践指南

一张图片+一段音频=电影级数字人视频?这不是魔法,是开源AI技术带来的现实。 近日,阿里巴巴通义万相团队开源了Wan2.2-S2V-14B模型,仅在短短几天内就引发了AI视频生成领域的震动。这个仅需**一张静态图片**和**一段音频**就能生成影视级质量视频的模型,正在改变我们对AI视…