分布式缓存:ZSET → MGET 跨槽(cross‐slot)/ 并发 GET解决思路

文章目录

  • 缓存全景图
  • Pre
  • 问题描述
  • 解决思路
    • 一、管道(Pipelining)替代多线程
    • 二、使用 Hash Tag 保证数据同槽
    • 三、用 Hash 结构一次性批量取值
    • 四、把数据直接存进 ZSET(或用 RedisJSON)
  • 小结

在这里插入图片描述


缓存全景图

在这里插入图片描述


Pre

分布式缓存:缓存设计三大核心思想

分布式缓存:缓存的三种读写模式及分类

分布式缓存:缓存架构设计的“四步走”方法

分布式缓存:缓存设计中的 7 大经典问题_缓存失效、缓存穿透、缓存雪崩

分布式缓存:缓存设计中的 7 大经典问题_数据不一致与数据并发竞争

分布式缓存:缓存设计中的 7 大经典问题_Hot Key和Big Key


问题描述

使用 Redis Cluster 时,经常会碰到 ZSET、MGET 跨槽(cross‐slot)或多线程大量并发 GET 导致的延迟和 CPU 问题, 下面说一下解决思路


解决思路

一、管道(Pipelining)替代多线程

  • 问题:用 20 个线程并发 GET,线程切换和上下文开销很大,而且大量线程会竞争 Tomcat 线程池资源。

  • 建议:在单个线程里,对每个分片的若干 key 使用 Redis Pipeline。Pipeline 可以把多条命令打包,一次性发给同一个 Redis 节点,极大减少网络往返(RTT)和线程切换开销。

    1. 拿到分页用的 ID 列表后,根据 ID 分别算出它们在 Cluster 中各自的 slot。
    2. 按 slot 分组,把属于同一 slot 的 ID 列表用一次 pipeline 批量 GET
    3. 不同 slot 的分组各自 pipeline,最终合并结果即可。
  • 效果:比单条 GET 快,且不必启 20 个线程,CPU 和线程池压力都会大幅下降。


二、使用 Hash Tag 保证数据同槽

Redis Cluster 要求一次多键操作(如 MGET、Lua 脚本)只能作用于同一个 slot 才不会报错。

  • 做法:给你的 ZSET key 和各个 ID key 都加上相同的Hash Tag,例如:

    ZSET key:   "user:123:{timeline}"
    ID key:     "user:123:{timeline}:item:456""user:123:{timeline}:item:789"
    

    这样 Redis 会只对 {timeline} 这部分计算哈希槽,保证所有相关 key 都在同一个槽里。

  • 好处

    1. 就可以直接用一条 MGET user:123:{timeline}:item:456 user:123:{timeline}:item:789 …,或者一段 Lua 脚本 EVAL,一次性拉取多条数据。
    2. 避免了跨槽错误,也不需要分组 pipeline,代码更简单、性能更优。

三、用 Hash 结构一次性批量取值

如果每条“内容”可以看成一个小对象(多个字段),还可以:

  1. 把所有 ID 对应的内容都存到一个 Hash,Hash 名称同样带上 Hash Tag:

    HSET user:123:{timeline}:items 456 "{…json…}" 789 "{…json…}"
    
  2. 查询时,

    HKEYS        → 拿到所有 field(ID)  
    HGETALL 或 HMGET → 一次性批量获取分页这 20 条 content  
    
  • 优点:单个 key、单条命令就能拿到所有需要的 20 条数据,Redis 端没有多次网络往返。

四、把数据直接存进 ZSET(或用 RedisJSON)

如果对象比较小,也可考虑:

  • Option A:把内容序列化后直接当 ZSET 的 member 存储,Score 用时间戳或自增序号。ZRANGE … WITHSCORES 一次性既拿 ID(member)又拿内容。
  • Option B:使用 RedisJSON 模块,把每条对象存为 JSON,Key 同样加 Hash Tag,ZSET 只存 ID,然后用 JSON.MGET(同槽下可跨多个 JSON key 一次取)来批量拉取。

小结

  1. Pipeline:最简单,不改数据模型,按 slot 分组即可。
  2. Hash Tag:相同槽内可直接 MGET 或 Lua,一条命令搞定。
  3. Hash 结构:把多条对象聚到一个 key,HMGET 一次性取完。
  4. 直接存 ZSET 或 JSON 模块:简化访问路径,避免额外的 GET。

以上方案可以各取所长,或组合使用:比如既用 Hash Tag,又用 Pipeline;或直接把热点数据存在 ZSET member 里。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/pingmian/82262.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开发AR导航助手:ARKit+Unity+Mapbox全流程实战教程

引言 在增强现实技术飞速发展的今天,AR导航应用正逐步改变人们的出行方式。本文将手把手教你使用UnityARKitMapbox开发跨平台AR导航助手,实现从虚拟路径叠加到空间感知的完整技术闭环。通过本教程,你将掌握: AR空间映射与场景理…

助力 FPGA 国产化,ALINX 携多款方案亮相深圳、广州“紫光同创 FPGA 技术研讨会”

5 月中旬,一年一度的紫光同创技术研讨会系列活动正式拉开帷幕,相继在深圳、广州带来 FPGA 技术交流盛宴。 ALINX 作为紫光同创官方合作伙伴,长期助力推动 FPGA 国产化应用发展,此次携多款基于 Kosmo-2 系列产品开发的方案 demo 亮…

LeetCode 1040.移动石子直到连续II

在 X 轴上有一些不同位置的石子。给定一个整数数组 stones 表示石子的位置。 如果一个石子在最小或最大的位置,称其为 端点石子。每个回合,你可以将一颗 端点石子 拿起并移动到一个未占用的位置,使得该石子不再是一颗 端点石子。 值得注意的…

梯度优化提示词:精准引导AI分类

基于梯度优化的提示词工程方法,通过迭代调整提示词的嵌入向量,使其能够更有效地引导模型做出正确分类。 数据形式 训练数据 train_data 是一个列表,每个元素是一个字典,包含两个键: text: 需要分类的文本描述label: 对应的标签(“冲动"或"理性”)示例数据: …

JavaWeb:SpringBoot配置优先级详解

3种配置 打包插件 命令行 优先级 SpringBoot的配置优先级决定了不同配置源之间的覆盖关系,遵循高优先级配置覆盖低优先级的原则。以下是详细的优先级排序及配置方法说明: 一、配置优先级从高到低排序 1.命令行参数 优先级最高,通过keyvalu…

使用CentOS部署本地DeekSeek

一、查看服务器的操作系统版本 cat /etc/centos-release二、下载并安装ollama 1、ollama下载地址: Releases ollama/ollama GitHubGet up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large language models. - Re…

Matplotlib 后端与事件循环

前言:很多时候,matplot跑出来的是这种静态非交互的,如果想要可以交互,就得设定一个后端,例如 matplotlib.use(TkAgg)Matplotlib 后端 (Backend) Matplotlib 的设计理念是能够以多种方式输出图形,无论是显…

【JAVA】中文我该怎么排序?

📘 Java 中文排序教学文档(基于 Collator) 🧠 目录 概述Java 中字符串排序的默认行为为什么需要 Collator使用 Collator 进行中文排序升序 vs 降序排序自定义对象字段排序多字段排序示例总结对比表附录:完整代码示例 …

k8s-NetworkPolicy

在 Kubernetes 中,NetworkPolicy 是一种资源对象,用于定义 Pod 之间的网络通信策略。它允许你控制哪些 Pod 可以相互通信,以及如何通信。通过使用 NetworkPolicy,可以实现更细粒度的网络访问控制,增强集群的安全性。 1…

LAN(局域网)和WAN(广域网)

你的问题非常清晰!我来用一个直观的比喻实际拓扑图帮你彻底理解LAN(局域网)和WAN(广域网)如何协同工作,以及路由器在其中的位置。你可以把整个网络想象成一座城市: 1. 比喻:城市交通…

idea 插件开发自动发布到 nexus 私服中(脚本实例)

如下脚本内容为 idea 插件开发项目中的 build.gradle.kts 文件示例,其中自定了 updatePluginsXmlToNexus 和 uploadPluginToNexus 两个任务,一个用来自动修改 nexus 中的配置文件,一个用来自动将当前插件打包后的 zip 文件上传到 nexus 私服中…

SpringBoot-11-基于注解和XML方式的SpringBoot应用场景对比

文章目录 1 基于注解的方式1.1 @Mapper1.2 @select1.3 @insert1.4 @update1.5 @delete2 基于XML的方式2.1 namespace2.2 resultMap2.3 select2.4 insert2.5 update2.6 delete3 service和controller3.1 service3.2 controller4 注解和xml的选择如果SQL简单且项目规模较小,推荐使…

C++复习核心精华

一、内存管理与智能指针 内存管理是C区别于其他高级语言的关键特性,掌握好它就掌握了C的灵魂。 1. 原始指针与内存泄漏 先来看看传统C的内存管理方式: void oldWay() {int* p new int(42); // 分配内存// 如果这里发生异常或提前return&#xff0c…

期货反向跟单软件—提高盘手杠杆的方式及剖析

在期货反向跟单领域,期货跟单软件对盘手杠杆的调节,是整个策略运作的核心环节之一。其背后蕴含着科学的金融逻辑。​ 期货跟单软件提高盘手杠杆主要通过两种方式。第一种是降低期货保证金。在盘手资金总量固定的情况下,保证金降低&#xff0…

【计算机网络】基于UDP进行socket编程——实现服务端与客户端业务

🔥个人主页🔥:孤寂大仙V 🌈收录专栏🌈:Linux 🌹往期回顾🌹: 【Linux笔记】——网络基础 🔖流水不争,争的是滔滔不息 一、UDPsocket编程UDPsocket编…

ae卡通打架烟雾特效

1、创建一个合成(合成1),右键创建形状图层,使用椭圆工具,长按shift键拖动鼠标左键画出圆形,同时按ctrlalthome三个键使圆形中心锚点对齐圆心,关闭描边,圆形图层填充白色。 2、选择形…

UE5 Va Res发送请求、处理请求、json使用

文章目录 介绍发送一个Get请求发送Post请求设置请求头请求体带添json发送请求完整的发送蓝图 处理收到的数据常用的json处理节点 介绍 UE5 自带的Http插件,插件内自带json解析功能 发送一个Get请求 只能写在事件图表里 发送Post请求 只能写在事件图表里 设置…

SQL 结构化模型设计与现代技术融合深度解读

摘要 本文系统展示了基于 JSON Schema 的 SQL 结构化模型设计,包括通用定义、四大基本操作(SELECT、INSERT、UPDATE、DELETE)的模型规范,以及面向现代场景的设计扩展。重点结合数据权限控制、乐观锁并发控制、表单自动化、自定义…

el-dialog 组件 多层嵌套 被遮罩问题

<el-dialog title"提示" :visible.sync"dialogBindUserVisible" width"30%" append-to-body :before-close"handleClose"> <span>这是一段信息</span> <span slot"footer" class"dialog-footer&q…

【KWDB 2025 创作者计划】_KWDB时序数据库特性及跨模查询

一、概述 数据库的类型多种多样&#xff0c;关系型数据库、时序型数据库、非关系型数据库、内存数据库、分布式数据库、图数据库等等&#xff0c;每种类型都有其特定的使用场景和优势&#xff0c;KaiwuDB 是一款面向 AIoT 场景的分布式、多模融合、支持原生 AI 的数据库…