设计艺术~缓存结构设计

背景

面对高QPS场景的业务,不得不考虑对一些数据做缓存设计,常见的缓存设计有这些:DB Proxy缓存、分布式缓存、Localcache缓存。
在考虑加缓存的背景下不考虑数据的一致性,都是瞎扯,所以我们再定义一下数据的一致性场景:强制一致性、最终一致性。本质上只要加了缓存就会破坏数据的一致性,最起码破坏了数据的强一致性。但在不同的缓存选择下,最终一致性的延迟效果是完全不同的。
在这里插入图片描述

DB Proxy缓存

DB proxy 缓存是比较简单的一种缓存,它的拓展性和策略手段也偏少,基本上只能做某 key 某 SQL 超过一定 QPS 之后,做一些结果缓存。缓存时间可以设置个1秒、2秒、3秒,按照你的业务需求去做决定。但本质上它的策略手段因为太单一,你也没有办法去做一些强制的删除或强制的更新。所以优势就在于简单,纯配置就可以。劣势就在于策略手段太过单一,维护热 key 缓存的 key 的手段太过单一。而且 DB proxy 缓存一般也不能承担太多的缓存任务,只有一些非常非常高的 key 比如说一些 key 的 QPS 超过了20K 30K 才会考虑对着一个 k 去开启。而且是得手动针对某一个 key 去开启,最好不要全局去开启,避免一些不必要的问题。

分布式缓存

分布式缓存应该是最常用的,最熟悉的应该就是 Redis 它可以把 DB 的一些查询结果做一些缓存。效果策略手段也是最好的。我们可以做一些策略化的过期时间,可以针对某一个 key 或者批量针对某一批 key 去做缓存,由业务代码去设定,灵活性更好。缺点的话就在于它对于超高的 QPS 的 key 这个超高怎么定义呢?就从 Redis 的单 key 的承载能力去做定义。一个 key 如果超过了5000QPS 也就是5K 多流量,可以认为是热 key 那超过10K 也就是1万的 QPS 那基本上就靠 Redis 去缓存,也是不可靠的,会引起单分片的 CPU 问题。靠分布式缓存就不太好解决了。

Localcache缓存

对于前面提到的,如果某一个 key 超过了10K 的 QPS 就需要考虑去做 local cache 本地缓存。本地缓存优势就在于它可以本地区直接返回结果,对吞吐量、响应的效率、速度都有非常好的支持。但它的缺陷就在于维护成本太高。因为它会消耗机器的实际内存,我们内存资源是非常宝贵的,所以一般 local CACHE 会有一个内存上限,也会有很多的淘汰算法。再一个就是使用分布式缓存的话,因为它是分布式的,你可以去做一些强制更新,缓存更新。我们常见的延迟双删这些技术点,都是为了保证一致性。但 local CACHE 的话,它就不太好去做这些事情了。也就是说,local CACHE 缓存的 key 它没有办法去全量的删除,在它过期时间之前。这也是它的一个缺点。

选型

所以选型的话,如果一个数据是超高 QPS 超过了10K 甚至以上,并且你认为它的一致性还好,就比如是一些点赞的数值啊。直播间人数啊这些完全可以考虑去通过 local cache 去做承载,但要设置好缓存这个 key 的条件和过期时间以及淘汰策略。避免因为 local CACHE 导致整个机器的内存使用消耗太高。最常用的,最实用的应该就是分布式缓存。它可以做一些像延迟双删这样的一些技术手段,去保证一致性,也可以使用一些很多的算法去策略手段去做缓存,比如把时间打散,比如说某一个 key 去设置5秒还是3秒过期,由业务代码去决定,灵活性是最好的。DB proxy 缓存的话就比较的简单,可以为了在发现某一个 key 对机器产生影响了之后,主动的为这个 key 开启缓存来,算是一个运维能力去保护 DB也就是说,得你主动的去发现某 key 特别超高。然后去开启。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/921680.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/921680.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

后端开发技术栈

后端开发技术栈核心技术内容平台 (Content Platform)电商 (E-Commerce)金融科技 (FinTech) / 支付物联网 (IoT - Internet of Things)游戏后端 (Game Backend)社交平台搜索平台企业级应用开发音视频处理后端地图与地理位置服务DevOps大数据开发大模型应用开发智能合约开发核心技…

【ICCV2025】计算机视觉|即插即用|ESC:颠覆Transformer!超强平替,ESC模块性能炸裂!

论文地址:https://arxiv.org/pdf/2503.06671 代码地址:https://github.com/dslisleedh/ESC 关注UP CV缝合怪,分享最计算机视觉新即插即用模块,并提供配套的论文资料与代码。 https://space.bilibili.com/473764881 摘要 本研究…

【面试场景题】如何进行高并发系统的性能测试?

文章目录一、明确测试目标与指标二、测试环境搭建三、测试工具选型四、测试场景设计五、执行测试与监控六、瓶颈分析与调优七、测试报告与迭代总结高并发系统的性能测试是验证系统在极限流量下是否能保持稳定运行的关键环节,需要结合场景设计、工具选型、指标监控、…

攻防世界ReverseMe-120

这道题比较经典,涉及三个知识点,所以记录一下。首先给了一个文件,detect it easy看了下,是32位exe。放入ida中,找下main函数,F5反编译看一下伪代码。int __cdecl main(int argc, const char **argv, const …

小白也能看懂,HTTP中的文件上传与下载到底发生了什么?

HTTP 文件传输协议解析:上传与下载 这份文档会用最简单的方式,带你了解 HTTP 协议是如何处理文件下载和上传的。我们会专注于协议本身,看看客户端(比如你的浏览器)和服务端(网站服务器)之间到底…

快速构建数据集-假数据(生成划分)

快速构建数据集-假数据1、torch.randn(✅)2、HuggingFace Datasets(✅)🔹1. 从字典生成🔹2. 从 pandas.DataFrame 生成🔹3. 批量生成“业务型”假数据(配合 Faker)&#…

[修订版]Xenomai/IPIPE源代码情景解析

[修订版]Xenomai/IPIPE源代码情景解析 第一章:Interrupt Pipeline介绍 1.1 I-pipe与Xenomai1.2 I-pipe核心概念1.3 拉取I-pipe代码 第二章:I-pipe对ARM64异常的改造 2.1 ARM64中断机制与异常处理2.2 EL0_IRQ 中断改造之入口2.3 EL0_IRQ 中断改造之中断处…

【Qt开发】按钮类控件(三)-> QCheckBox

目录 1 -> 概述 2 -> 核心特性 2.1 -> 状态管理 2.2 -> 信号机制 2.3 -> 外观与文本 3 -> 应用场景 4 -> 代码示例 5 -> 总结 1 -> 概述 QCheckBox 是 Qt 框架中提供的一个基础控件,用于实现复选框功能。它允许用户在两种或三种…

在新发布的AI论文中 pytorch 和tensorflow 的使用比例

根据 2025 年最新的学术动态和行业报告,PyTorch 在 AI 论文中的使用比例已占据绝对主导地位,而 TensorFlow 的占比持续下降。以下是基于多个权威来源的综合分析: 一、顶级会议中的框架分布 在 NeurIPS、ICML、CVPR 等顶级学术会议中&#xff…

3DXML格式是什么?用什么软件可以打开?

3DXML 是一种开放标准的数据交换格式,主要用于三维 CAD(计算机辅助设计)模型的存储和交换。它是由 Dassault Systmes 开发的一种文件格式,常用于 CATIA V6 和其他支持该格式的应用程序中。3DXML 文件可以包含完整的 3D 模型数据&a…

9月8日星期一今日早报简报微语报早读

9月8日星期一,农历七月十七,早报#微语早读。1、中国火箭与月亮同框,遥感四十号03组卫星发射成功;2、湖南郴州开发区改革:编制数由815名减至680名,精简16.6%;3、水利部对广东、广西启动洪水防御Ⅳ…

windows系统搭建MQTT服务器

1、MQTT 协议 MQTT协议:实现MQTT协议需要客户端和服务器端通讯完成。 三种身份: 发布者(Publish)、代理(Broker)(服务器)、订阅者(Subscribe)。 消息的发布者和订阅者都是客户端,消息代理是服务器,消息发布者可以同时是订阅者。 MQTT&am…

从 GPT 到 LLaMA:解密 LLM 的核心架构——Decoder-Only 模型

🔥从 GPT 到 LLaMA:解密 LLM 的核心架构——Decoder-Only 模型 “为什么所有大模型(LLM)都长一个样?” 因为它们都有一个共同的“基因”——Decoder-Only 架构。 在前面两节中,我们学习了: BER…

Codeforces Round 1047 (Div. 3)

由于最近这三天的数学建模,让我这个精力本来就不多的AI手更加力竭了,没注意到昨晚的cf,所以今天来补题了。 比赛连接:比赛传送门 A题: You are doing a research paper on the famous Collatz Conjecture. In your e…

C++经典的数据结构与算法之经典算法思想:贪心算法(Greedy)

贪心算法(Greedy Algorithm):通过局部最优达成全局最优的决策策略 贪心算法是一种通过每次选择局部最优解来期望全局最优解的算法思想。它不考虑未来的影响,仅根据当前信息做出最优选择,适用于具有贪心选择性质和最优子…

LangChain实战(二十一):构建自动化AI客服系统

本文是《LangChain实战课》系列的第二十一篇,将带领您构建一个完整的自动化AI客服系统。通过结合对话记忆、工具调用和业务知识库,我们将创建一个能够处理复杂客户查询的智能客服解决方案。 前言 在现代商业环境中,客户服务是企业成功的关键因素之一。传统客服系统往往面临…

一人公司智能管理系统概述

系统概述 项目结构 Al_Compny系统采用前后端分离的全栈架构,项目根目录下包含两个主要子目录:Al_Compny_backend(后端服务)和Al_Compny_frontend(前端应用)。核心功能模块 Al_Compny系统是一个面向"一…

OpenWrt | 在 PPP 拨号模式下启用 IPv6 功能

文章目录一、WAN 口配置二、LAN 口配置三、IPv6 测试本文将详细介绍 将光猫的网络模式改成桥接之后使用路由器拨号的上网方式的情况下,在 OpenWrt 上使用 PPP 拨号模式上网时,启用 IPv6 功能的方法。 一、WAN 口配置 首先,我们需要在 网络 …

Java如何实现一个安全的登录功能?

安全登录系统完整教程 📋 目录 项目概述技术栈安全特性项目结构核心组件详解安全实现原理部署和运行安全最佳实践常见问题解答进阶扩展 🎯 项目概述 这是一个基于Spring Boot和Spring Security的完整安全登录系统,专为初学者设计&#xff…

星辰诞愿——生日快乐

前言 今天这篇博客并非技术文章,而是庆祝我可爱的妹妹18岁生日以及介绍我半年以来的学习经历 祝生网站:星辰诞愿(用户列表里第一位就是我妹妹,希望大家能献上自己的祝福,能分享转发更好,我在此感谢大家。如果使用手机&…