Elasticsearch(ES)分页

Elasticsearch(简称 ES)本身不适合传统意义上的“深分页”,但提供了多种分页方式,每种适用不同场景。我们来详细讲解:


一、基本分页(from + size)

最常用的分页方式,类似 SQL 的 LIMIT offset, size

查询语法示例:

GET /products/_search
{"query": {"match_all": {}},"from": 20,"size": 10
}

表示从第 21 条记录开始,取 10 条(第 3 页,每页 10 条)

优点:

  • 简单直观,适合前几页浏览。

缺点:

  • 深分页性能差:from 越大,ES 处理速度越慢,浪费内存和 CPU。
  • 默认最大 from + size10000(可修改 index.max_result_window

二、Scroll 分页(适合大批量导出)

Scroll 是一种游标查询,用于大量数据批量处理,如导出所有数据。

查询示例:

POST /products/_search?scroll=1m
{"size": 100,"query": {"match_all": {}}
}

响应返回:

{"_scroll_id": "...","hits": {"hits": [ ... ]}
}

继续获取下一页:

POST /_search/scroll
{"scroll": "1m","scroll_id": "..."
}

优点:

  • 适合全量导出、日志批处理等任务。
  • 内部避免重新排序,性能好。

缺点:

  • 不是实时的,不能跳页。
  • scroll 占内存,需要及时清除。

三、Search After(推荐用于深分页)

官方推荐用于实时系统中分页跳转到深页,无需使用 from

使用前提:

  • 必须排序
  • 每页记录中携带上页最后一条的排序字段值

示例:

第一页请求:

POST /products/_search
{"size": 10,"sort": [{ "price": "asc" }, { "_id": "asc" }]
}

返回结果中,拿到最后一条记录的排序值:

"sort": [100.0, "abc123"]

第二页请求使用 search_after

POST /products/_search
{"size": 10,"sort": [{ "price": "asc" }, { "_id": "asc" }],"search_after": [100.0, "abc123"]
}

优点:

  • 性能优于 from + size 的深分页
  • 可实时查询,稳定

缺点:

  • 不支持跳页(只能“下翻页”)
  • 前端不能直接点跳转页码(需记住前页的 sort 值)

四、Pit(Point in Time)+ Search After(ES 7.10+)

在使用 search_after 时,为避免分页期间数据变动带来的不一致问题,可以使用 PIT。

创建 PIT:

POST /products/_pit?keep_alive=1m

返回:

{"pit_id": "xxx"
}

查询:

POST /products/_search
{"size": 10,"pit": {"id": "xxx","keep_alive": "1m"},"sort": [{ "price": "asc" }, { "_shard_doc": "asc" }],"search_after": [...]
}

各分页方式对比

方式跳页支持深分页性能实时性适合场景
from + size首页、少量分页
scroll导出/批处理
search_after✅✅深分页、翻页
pit + search_after✅✅✅实时且一致性强

实践建议

分页需求类型建议用法
普通分页from + size
超过1万条数据导出scroll
深分页、实时查询search_after + sort
高一致性深分页pit + search_after

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/912263.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/912263.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

原生微信小程序:用 `setData` 正确修改数组中的对象项状态(附实战技巧)

📌 背景介绍 在微信小程序开发中,我们经常需要修改数组中某个对象的某个字段,比如: 列表中的某一项展开/收起多选状态切换数据列表中的临时标记等 一个常见的场景是: lists: [{ show: true }, { show: true }, { s…

Oracle 临时表空间相关操作

一、临时表空间概述 临时表空间(Temporary Tablespace)是Oracle数据库中用于存储临时数据的特殊存储区域,其数据在会话结束或事务提交后自动清除,重启数据库后彻底消失。主要用途包括: 存储排序操作(如OR…

从静态到动态:Web渲染模式的演进和突破

渲染模式有好多种,了解下web的各种渲染模式,对技术选型有很大的参考作用。 一、静态HTML时代 早期(1990 - 1995年)网页开发完全依赖手工编写HTML(HyperText Markup Language)和CSS(层叠样式表…

Flask(六) 数据库操作SQLAlchemy

文章目录 一、准备工作二、最小化可运行示例✅ 补充延迟绑定方式(推荐方式) 三、数据库基本操作(增删改查)1. 插入数据(增)2. 查询数据(查)3. 更新数据(改)4.…

PYTHON从入门到实践7-获取用户输入与while循环

# 【1】获取用户输入 # 【2】python数据类型的转换 input_res input("请输入一个数字\n") if int(input_res) % 10 0:print("你输入的数是10的倍数") else:print("你输入的数不是10的倍数") # 【3】while循环,适合不知道循环多少次…

学习笔记(C++篇)—— Day 8

1.STL简介 STL(standard template libaray-标准模板库):是C标准库的重要组成部分,不仅是一个可复用的组件库,而且是一个包罗数据结构与算法的软件框架。 2.STL的六大组件 先这样,下一部分是string的内容,内容比较多&a…

ant+Jmeter+jenkins接口自动化,如何实现把执行失败的接口信息单独发邮件?

B站讲的最好的自动化测试教程,工具框架附项目实战一套速通,零基础完全轻松掌握!自动化测试课程、web/app/接口 实现AntJMeterJenkins接口自动化失败接口邮件通知方案 要实现只发送执行失败的接口信息邮件通知,可以通过以下步骤实…

恶意Python包“psslib“实施拼写错误攻击,可强制关闭Windows系统

Socket威胁研究团队发现一个名为psslib的恶意Python包,该软件包伪装成提供密码安全功能,实则会突然关闭Windows系统。这个由化名umaraq的威胁行为者开发的软件包,是对知名密码哈希工具库passlib的拼写错误仿冒(typosquatting&…

云原生灰度方案对比:服务网格灰度(Istio ) 与 K8s Ingress 灰度(Nginx Ingress )

服务网格灰度与 Kubernetes Ingress 灰度是云原生环境下两种主流的灰度发布方案,它们在架构定位、实现方式和适用场景上存在显著差异。以下从多个维度对比分析,并给出选型建议: 一、核心区别对比 维度服务网格灰度(以 Istio 为例…

科技如何影响我们的生活?

科技已成为我们生活中不可或缺的一部分,彻底改变了我们工作、沟通和生活的方式。从智能手机到智能家居,科技已渗透到我们生活的每个角落。无论是用手机闹钟开启新的一天,通过 Alexa 开关灯光,还是打开 Uber 或 Lyft 打车上班&…

Re--攻防世界-基础android

Jadx 可以看到有账号密码输入 进入checkPassword函数 分析一下: 对每个字符 pass[len] 进行以下计算 pass[len] (char) (((255 - len) - 100) - pass[len]); 解密脚本 def decrypt_password(): password [] for len in range(12): c (255 - le…

InnoDB表空间结构-系统表空间

系统表空间整体结构 页号为7的SYS类型页结构

如何构建知识库

构建个人知识库是一个系统化的过程,需要结合工具选择、信息管理和持续优化。以下是分步骤的实用指南,包含现代工具和方法的建议: 一、明确知识库定位(Why) ​核心目标​ 学习型:支持学术研究/职业发展&…

3 大语言模型预训练数据-3.2 数据处理-3.2.2 冗余去除——2.SimHash算法文本去重实战案例:新闻文章去重场景

SimHash算法文本去重实战案例:新闻文章去重场景 一、案例背景与目标二、具体实现步骤与示例1. **待去重文本示例**2. **步骤1:文本预处理与特征提取**3. **步骤2:特征向量化与哈希映射**4. **步骤3:特征向量聚合**5. **步骤4&…

MSPM0G3507之GPIO配置报错 #Sysconfig报错

声明:本文完全免费阅读,如果你发现某天文章被设置了“VIP权限”,请私信我解除(非笔者所为)。 一、问题现象 在打开sysconfig后,GPIO这里会报错。 Unable to render selection Error:launchPadShortcut:Vali…

2025年检测相机十大品牌测评:工业级精度与场景化解决方案解析

一、引言 在工业自动化与智能制造领域,检测相机作为质量管控的核心硬件,正以“高精度、高速度、高适应性”的特性重塑生产流程。这类设备通过光学成像与智能算法结合,实现对工件表面缺陷、尺寸偏差、装配精度的精准检测,效率较传…

Python异步编程深度解析

一、异步编程范式演进 同步阻塞的困境:GIL限制与线程切换开销 事件循环本质:单线程并发模型 协程优势:比线程更轻量的执行单元 IO密集型场景:网络请求/文件操作的最佳实践 二、核心语法精要 import asyncioasync def fetch_…

网络缓冲区

用户态网络缓冲区 网络缓冲区原理为什么需要用户态网络缓冲区Linux下如何接收和发送数据包用户态网络缓冲区设计的本质 网络缓冲区代码实现 网络缓冲区原理 为什么需要用户态网络缓冲区 在网络开发中,我们经常使用到read/write/recv/send等系统调用接口&#xff0…

微信小程序实现简版点赞动画

这是第二次写canvas,基于微信小程序文档demo进行改写 demo效果为方块横向来回循环移动 我想做的是直播间那种点赞效果,竖向曲线移动、方块换成图片、点击添加绘制元素 第一阶段实现竖向曲线移动、点击添加绘制元素;下一阶段讲方块替换为图…

实现一个AI大模型当前都无法正确实现的基础二叉树读取算法

概述 图1: 图2: 上图帮大家温习完全二叉树的概念,本文讲的是完全顺序二叉树的初始化 华为的员工、考过华为OD的员工、参加过其他类似大厂的考试的员工一般做过二叉树的初始化,甚至有些还碰到过手撕代码时面试官要求做二叉树遍历,看完本文的…