【Elasticsearch】快照生命周期管理 SLM(理论篇)

Elasticsearch 集群》系列,共包含以下文章:

  • 1️⃣ 冷热集群架构
  • 2️⃣ 合适的锅炒合适的菜:性能与成本平衡原理公式解析
  • 3️⃣ ILM(Index Lifecycle Management)策略详解
  • 4️⃣ Elasticsearch 跨机房部署
  • 5️⃣ 快照与恢复功能详解
  • 6️⃣ Elasticsearch 快照恢复 API 参数详解
  • 7️⃣ 安全地删除快照仓库、快照
  • 8️⃣ 快照生命周期管理 SLM(理论篇)
  • 9️⃣ 快照生命周期管理 SLM(实战篇)
  • 🔟 跨集群检索(Cross-Cluster Search)

😊 如果您觉得这篇文章有用 ✔️ 的话,请给博主一个一键三连 🚀🚀🚀 吧 (点赞 🧡、关注 💛、收藏 💚)!!!您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容!!!

快照生命周期管理 SLM(理论篇)

  • 1.快照生命周期管理(SLM)
  • 2.索引生命周期管理(ILM)
  • 3.SLM 与 ILM 的核心区别
    • 3.1 管理目标不同
    • 3.2 操作对象不同
    • 3.3 策略驱动因素不同
    • 3.4 典型使用场景
  • 4.协同工作场景
  • 5.总结对比表

1.快照生命周期管理(SLM)

SLM(Snapshot Lifecycle Management)是 Elasticsearch 中 自动化管理索引快照的策略,用于定期创建集群快照、定义保留策略,确保灾难恢复能力。

核心功能

  • 定时创建快照(如每天凌晨2点)
  • 自动清理旧快照(保留最近30天,删除更早版本)
  • 跨仓库管理(支持本地/云存储如 AWS S3、Azure Blob)

提出背景

  • 手动备份低效:大规模集群需备份数百个索引,人工操作易遗漏。
  • 存储成本失控:历史快照堆积占用大量云存储空间。
  • RTO / RPO 需求:业务要求明确恢复时间点(如最多丢失 1 小时数据)。

解决的问题

  • 自动化备份 → 减少人工干预
  • 精确保留策略 → 降低存储成本
  • 保障可恢复性 → 满足 SLA 要求

2.索引生命周期管理(ILM)

ILM(Index Lifecycle Management)是 Elasticsearch 中 自动化管理索引生命周期的策略,根据年龄、大小等条件将索引动态迁移到不同性能/成本的存储层。

生命周期阶段

阶段操作典型配置
Hot高频读写(SSD存储)rollover(达 50GB 切新索引)
Warm低频查询(HDD存储)shrink(减少分片数)
Cold极少访问(低成本存储)freeze(冻结索引)
Delete删除过期数据delete(保留 30 天后删除)

提出背景

  • 性能与成本矛盾:新索引需高性能(SSD),旧索引可存于廉价存储。
  • 手动轮转低效:人工迁移索引易出错,尤其日志类应用(如 Filebeat 日增数百索引)。
  • 存储优化需求:冷数据无需占用高价存储资源。

解决的问题

  • 存储分层优化 → 降低硬件成本
  • 自动索引轮转 → 提升集群稳定性
  • 资源按需分配 → 平衡性能与成本

3.SLM 与 ILM 的核心区别

3.1 管理目标不同

维度SLMILM
焦点数据备份与恢复(快照副本)索引存储优化(原始数据分层)
本质灾备机制资源调度机制

3.2 操作对象不同

类型SLMILM
操作目标集群快照(.snapshot 文件)原始索引(如 logs-2023-10-01-000001
存储位置外部仓库(S3 / HDFS / NFS)集群内部节点(Hot / Warm / Cold 数据节点)

3.3 策略驱动因素不同

策略类型SLMILM
触发条件时间计划(Cron 表达式)索引年龄 / 大小 / 文档数
关键动作create_snapshotdelete_snapshotrollovershrinkfreezedelete

3.4 典型使用场景

场景SLM 示例ILM 示例
日志管理每日备份所有索引到 S37 天内日志存 Hot 节点(SSD),30 天后删除
安全合规保留审计日志快照 5 年合规数据在 Cold 阶段保留 1 年后删除

4.协同工作场景

两者通常配合使用以实现完整数据治理:

  • ILM 管理在线数据
    新索引写入
    Hot Phase
    Warm Phase?
    迁移到HDD
    Cold Phase?
    迁移到对象存储
    Delete Phase?
    删除索引
  • SLM 管理离线备份
    过期
    触发定时任务
    创建快照到S3
    保留策略检查
    删除旧快照

协同价值

  • ILM 删除原始索引后,SLM 仍保留其快照(满足长期归档需求)。
  • 恢复时:先从 SLM 快照还原,再由 ILM 自动分配到合适存储层。

5.总结对比表

特性SLMILM
英文全称Snapshot Lifecycle ManagementIndex Lifecycle Management
核心目标数据备份与恢复索引存储分层与优化
操作对象集群快照(副本)原始索引(数据本身)
关键操作创建 / 删除快照Rollover / Shrink / Freeze / Delete
存储位置外部仓库(如 S3)集群内部节点(Hot / Warm / Cold)
Elasticsearch APIPUT _slm/policy/daily_backupsPUT _ilm/policy/logs_policy

一句话区分

  • ILM 管理 “活数据”(在线索引如何存储和迁移),SLM 管理 “数据备份”(如何保存和恢复快照)。
  • 协同关系:ILM 负责数据的 “生老病死”,SLM 负责 “拍遗照留念” 以备恢复。

两者共同构成 Elasticsearch 数据治理的核心框架,建议在大型生产环境中配合使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/90443.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/90443.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入理解 UDP 协议:从原理到实战的技术解析

UDP(User Datagram Protocol,用户数据报协议)作为 TCP 的 "轻量型伙伴",在实时通信、流媒体传输等场景中发挥着不可替代的作用。与 TCP 的可靠传输不同,UDP 以 "简单、快速、无连接" 为设计理念&a…

c语言-数据结构-沿顺相同树解决对称二叉树问题的两种思路

二叉树OJ前言对称二叉树前言 本篇继续讲解二叉树OJ题目之对称二叉树 对称二叉树 题目链接:https://leetcode.cn/problems/symmetric-tree/description/ 该题要求比较这棵树是否对称,对称,指的是结构对称并且值也要对称,即对应…

云原生可观测-日志观测(Loki)最佳实践

一、Loki 简介 云原生可观测三大支柱 支柱工具用途MetricsPrometheus性能趋势、系统负载LogsLoki原始事件记录、错误诊断TracesTempo / Jaeger分布式链路追踪 一、Loki 简介 1.1 Loki 是什么 Loki 是由 Grafana Labs 开发的 日志聚合系统,与 Prometheus 架构一…

Windows Server 2003 R2系统C盘扩容教程

一、PAGreen软件下载 下载地址: ExtPart.zip https://pan.baidu.com/s/1FxK61XNI0t-4JIEWK1QA8Q?pwd8888 提取码: 8888 二、将软件解压缩 (1)、执行步骤一下载的程序 双击下图所示可执行程序 (2)、选择好解压路径,点击「Unzip」进行解压缩 (3)、磁…

Kubernetes配置管理

目录什么是ConfigMap创建ConfigMap1:基于目录创建ConfigMap1.创建conf目录,放置文件2.基于目录下的所有文件创建ConfigMap3.查看当前创建的ConfigMap2:基于文件创建ConfigMap1.单个文件创建ConfigMap2.使用带有key的命令创建ConfigMap3.多个文…

golang怎么实现每秒100万个请求(QPS),相关系统架构设计详解

一.需求 使用Golang,以Gin框架为基础,设计一个能够处理每秒100万请求(QPS 1M)的系统架构 注意:100万QPS是一个很高的数字,单机通常难以处理,所以必须采用分布式架构,并且需要多层次的架构设计和优化 二.搭建步骤 1.系统架构设计 为了实现高并发,需要考虑以下几个方面…

HCIA再复习

第一章.网络基础1.1 网络类型分类网络按照二层链路类型分为以下四种:多点接入网络(MA):1,广播型多点接入(BMA):如以太网,支持广播,设备通过MAC地址通信&#…

Qt 数据库连接池实现与管理

在 Qt 应用程序中,频繁创建和销毁数据库连接会带来显著的性能开销。数据库连接池通过复用现有连接,避免重复创建和销毁连接的开销,从而提高应用程序的响应速度和吞吐量。本文将详细介绍 Qt 中数据库连接池的实现与管理方法。 一、数据库连接池…

数据采集分析:从信息洪流中掘金的科学与艺术

——如何将原始数据转化为商业决策的黄金?🌐 引言:我们正淹没在数据的海洋,却渴求着知识的甘泉每天全球产生 2.5万亿字节 数据(相当于每秒下载4.5万部高清电影),但未经分析的数据如同未提炼的原…

Oracle国产化替代:一线DBA的技术决策突围战

从“如履薄冰”到“游刃有余”,中国数据库的自主之路正重塑技术人的思维地图。 “凌晨三点的最后一次数据校验通过,割接系统绿灯全亮——**河北移动核心账务系统的Oracle数据库已被GoldenDB完全替代**。”2025年6月底,这场持续两年的攻坚战画上句号。当全省业务流量平稳切…

OS19.【Linux】进程状态(1)

目录 1.情景引入 2.操作系统学科对进程状态的分类 运行状态 基于时间片的轮转调度算法 阻塞状态 等待IO设备的例子 等待其他进程中需要获取的数据 进程唤醒 挂起状态(全称为阻塞挂起状态) 简单谈谈虚拟内存管理 就绪状态 笔面试题 3.Linux对进程状态的分类 R和S状…

Hadoop小文件合并技术深度解析:HAR文件归档、存储代价与索引结构

HDFS小文件问题的背景与挑战在Hadoop分布式文件系统(HDFS)的设计哲学中,"大文件、流式访问"是核心原则。然而现实场景中,海量小文件(通常指远小于HDFS默认块大小128MB的文件)的涌入却成为系统性能…

Verilog 提取信号的上升沿或者下降沿

上升沿提取代码&#xff1a;reg [1:0] F1;always (posedge clk)beginif(rst_n 1b0) F1[1:0]<2b00;else F1[1:0]<{F1[0],start_i};endwire start_l2h (F1[1:0]2b01)?1b1:1b0;下降沿提取代码&#xff1a;reg [1:0] F1;always (posedge clk)b…

.Net core 部署到IIS出现500.19Internal Server Error 解决方法

.Net core 部署到IIS&#xff0c;网页出现500.19Internal Server Error 解决方法解决方法 在URL:https://dotnet.microsoft.com/zh-tw/download/dotnet/8.0下载并安装dotnet-hosting-8.0.18-win.exe 重启IIS服务器

Linux 基本命令整理

&#x1f427; Linux 基本命令整理 为了方便初学者快速掌握 Linux 常用命令&#xff0c;以下是经过分类整理的核心命令及用法说明。 &#x1f4c2; 目录操作与文件管理 pwd 核心功能&#xff1a;打印当前工作目录的绝对路径&#xff0c;明确用户所在位置。 实操示例&#x…

牛客周赛 Round 101(题解的token计算, 76修地铁 ,76选数,76构造,qcjj寄快递,幂中幂plus)

A题解的token计算要记住c中的对数函数&#xff1a;log(n) 是自然对数&#xff08;以e为底&#xff09;ln(nlog10(n) 是以10为底的对log1p(n) 是ln(1n)&#xff0c;提供更高的数值精log2(n) 是以2为底的对logl(n) 和 log10l(n) 是long double版#define _CRT_SECURE_NO_WARNINGS …

商场导航软件:3D+AI 基于Deepseek 模型的意图识别技术解析

本文面向室内导航工程师、商场导航系统优化师及LBS 应用开发的技术员&#xff0c;解析商场室内导航系统 3DAI 三大核心技术模块&#xff0c;并提供可直接复用的工程解决方案。如需获取商场导航系统技术方案可前往文章最下方获取&#xff0c;如有项目合作及技术交流欢迎私信作者…

借助Aspose.HTML控件,使用 Python 编程将网页转换为 PDF

使用 Python 将网页转换为 PDF 有时您需要离线访问网页&#xff0c;使其更易于访问。因此&#xff0c;将HTML页面转换为PDF即可满足您的需求。令人惊讶的是&#xff0c;您可以在几秒钟内在 Python 项目中启用 HTML 到 PDF 的转换。本指南将为 Python 开发人员介绍一个功能强大…

数据结构:找出字符串中重复的字符(Finding Duplicates in a String)——使用位运算

目录 预备知识 左移运算&#xff08;<<&#xff09; 位运算 一、从最朴素的方法开始 二、如果只关心“有没有出现过”&#xff0c;不关心“次数”&#xff0c;还能不能更省&#xff1f; 三、有没有一种更“紧凑”的方式表示26个开关&#xff1f; 四、用一个整数的…

DevOps 完整实现指南:从理论到实践

DevOps 是一种集软件开发&#xff08;Dev&#xff09;与 IT 运维&#xff08;Ops&#xff09;于一体的文化、实践和工具链&#xff0c;旨在通过自动化流程、持续集成/持续交付&#xff08;CI/CD&#xff09;、基础设施即代码&#xff08;IaC&#xff09;和跨团队协作&#xff0…