Redis学习专题(五)缓存穿透、缓存击穿、缓存雪崩

目录

一、缓存穿透

缓存穿透的原因:

缓存穿透的现象:

缓存穿透的解决办法:

二、缓存击穿

缓存击穿的原因:

缓存击穿的现象:

缓存击穿的解决办法:

三、缓存雪崩

缓存雪崩的原因:

缓存雪崩的现象:

缓存雪崩的解决办法:


一、缓存穿透

情景再现:

当用户请求服务器查找数据,通常操作比较频繁的数据我们会在Redis里面去查询,如果Redis没有,按理来说我们应该去数据库查,查完之后再同步到Redis中去。如果在数据库里也查不到就无法同步到缓存中去,造成缓存穿透

示意图: 

缓存穿透的原因:

1.key对应数据的数据源不存在,每次针对此key的请求从缓存中都获取不到,都会压到数据源,就可能压垮数据源

2.比如:我们用一个不存在的用户id查询信息,数据库和缓存都没有,黑客就可以利用此漏洞进行攻击

3.也就是说,如果从存储层查不到数据则不会写入缓存,这将导致这个不存在的数据每次都要去存储层查询,失去了缓存的意义 ,频繁查询就会压垮数据库

缓存穿透的现象:

1.应用服务器压力变大

2.Redis命中率低

3.一直查数据库

缓存穿透的解决办法:

1.对空值缓存

如果一个查询返回的数据是空,我们仍然把这个空结果(null)进行缓存,设置空结果的时间应该短一些(小于5min),因为也可能是临时没有的

2.设置可访问的白名单

定义一个可访问的白名单,每次访问的名单和白名单id进行比较,如果访问id不在白名单里面就进行拦截不允许访问,可以通过bitmaps实现

3.采用布隆过滤器

布隆过滤器可以检索一个元素是否在集合中。他的优点就是空间效率和时间效率都远远高要求其他算法,缺点是有一定的误识别率和删除困难

4.进行实时监控

当发现Redis命中率急速降低的时候,需要排查访问对象和数据,和运维人员配合,设置黑名单限制服务

二、缓存击穿

情景再现:

当用户请求服务器查找数据,但是key过期了就会越过Redis去访问数据库,导致数据库瞬间访问量过大

示意图:

缓存击穿的原因:

 1、key对应的数据存在,但在Redis中过期,此时如果大量并发请求过来,就会发现缓存过期,于是从DB加载数据并且回到Redis,这个大量的并发请求就可能把DB压垮

2、比如某一个热点数据,在某个时间点瞬间被超高并发的访问就会压垮数据库,出现缓存击穿

缓存击穿的现象:

 1、数据库访问压力瞬间增加

2、Redis里面没有出现大量key过期

3、Redis正常运行,数据库瘫痪了

缓存击穿的解决办法:

1、预先设置热门数据

在redis高峰访问之前、把这些热门数据加到redis里面去,加大热门数据的key时长

2、实时调整

现场监控哪些热门数据,加大key时长

3、使用锁

给数据库设置一个排它锁,当用户从redis中查不到key对应的数据(返回为null),就去数据库查,此时会上锁,只有单线程通过,拿到数据之后同步到redis中,此时如果其他线程来访问就会休眠一段时间然后重新访问redis。最终拿到数据

1)就是在缓存失效的时候(判断拿出来的值为空),不是立即去load db。
2)先使用缓存工具的某些带成功操作(比如Redis的SETNX)去set一个mutex key
3)当操作返回成功时,再进行load db的操作,并回设缓存,最后删除mutex key;
4)当操作返回失败,证明有线程在load db,当前线程睡眠一段时间再重试整个get缓存的方法
5)使用锁,效率会有影响 

三、缓存雪崩

情景再现:

当用户发送web请求到Nginx,Nginx转发大量请求到对应的服务器,然后大量的请求访问缓存,如果缓存数据大量过期,就会去数据库更新。如果此时出现缓存雪崩,那么从数据库更新数据就会失败

示意图:

缓存雪崩的原因:

1、大量的并发请求去请求不同的key,key对应的数据在redis中大量过期,然后通常会从DB加载数据并回设到缓存,但此时大并发请求就会把DB压垮。

2、缓存击穿针对一个key,缓存雪崩针对很多key

缓存雪崩的现象:

 1、数据库访问压力过大,服务器崩溃

2、在极短的时间内,访问大量的key,而这些key集中过期

缓存雪崩的解决办法:

1、构建多级缓存架构

nginx架构+redis缓存+其他缓存(ehcache等),这种方式开发/维护成本高

2、使用锁或者队列

用加锁或者队列的方式来保证不会有大量的线程对数据库一次性进行读写,从而避免失效时大量的并发请求到底层存储系统上

3、设置过期时间更新缓存

记录缓存数据是否过期,如果过期会触发通知另外的线程在后台去更新实际key的缓存,让key不要集中过期,保证key一直在redis。 

4、将缓存失效时间分散开

可以在原有的失效时间上加一个随机值(1min~5min),分散开就可以

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/web/81169.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Hadoop】大数据技术之 MapReduce

目录 一、MapReduce概述 1.1 MapReduce 定义 1.2 MapReduce优缺点 1.3 MapReduce 核心思想 1.4 MapReduce 进程 1.5 常用数据序列化类型 1.6 MapReduce 编程规范 二、WordCound 案例 2.1 环境准备 2.2 编写程序 三、MapReduce 工作流程 一、MapReduce概述 1.1 MapRe…

国际前沿知识系列三:解决泛化能力不足问题

目录 国际前沿知识系列三:解决泛化能力不足问题 一、子类建模法与分类建模法在脑区应变预测中的应用 (一)子类建模法 案例分析 (二)分类建模法 案例分析 二、基于迁移学习和数据融合的大脑应变预测模型改良 &a…

client.chat.completions.create方法参数详解

response client.chat.completions.create(model"gpt-3.5-turbo", # 必需参数messages[], # 必需参数temperature1.0, # 可选参数max_tokensNone, # 可选参数top_p1.0, # 可选参数frequency_penalty0.0, # 可选参数presenc…

iOS 15.4.1 TrollStore(巨魔商店)安装教程详解:第二篇

🚀 iOS 15.4.1 TrollStore(巨魔商店)安装教程详解 ✨ 前言🛠️ 如何安装 TrollStore?第一步:打开 Safari 浏览器第二步:选择对应系统版本安装方式第三步:访问地址,下载配置文件(plist)第四步:安装配置文件第五步:“jailbreaks.app” 请求安装 TrollHelper第六步…

SQL的RAND用法和指定生成随机数的范围

SQL中的RAND函数能够满足多种随机数生成的需求。通过合理地使用种子、结合一些SQL语句,我们可以实现灵活的随机数生成。在数据填充、数据处理、数据分析中经常需要用RAND生成的随机数。 用法1 生成随机浮点数,其返回值在0(包括0)…

AppAgentx 开源AI手机操控使用分享

项目地址: https://appagentx.github.io/?utm_sourceai-bot.cn GitHub仓库: https://github.com/Westlake-AGI-Lab/AppAgentX/tree/main arXiv技术论文:https://arxiv.org/pdf/2503.02268 AppAgentx是什么: AppAgentX 是西湖大学推出的一种自我进化式 GUI 代理框架。它通过…

[原创]X86C++反汇编01.IDA和提取签名

https://bpsend.net/thread-415-1-1.html 用VC6.0新建一个控制台工程 编译成 debug 和 Release 2个版本 应ida分别查看2种版本的程序 高版本ida 可能会直接定位到函数入口,正常情况下,我们需要先调试找到关键,找到关键以后点再通过调试设置api断点,读写断点等,找到程序的关键…

vs2022 Qt Visual Studio Tools插件设置

安装之后,需要指定QT中msvc编译器的位置,点击下图Location右边的按钮即可 选择msvc2022_64\bin目录下的 qmake.exe 另一个问题,双击UI文件不能打开设计界面 设置打开方式 选择msvc2022_64\bin目录下的designer.exe 确定即可 然后设置为默认值即可 确定…

C++代码随想录刷题知识分享-----两数之和(哈希表)三种算法逐个击破

题目描述 给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那两个整数,并返回它们的下标。 每个输入只对应一个答案。同一个元素不能重复使用。你可以按任意顺序返回答案。 示例 输入: nums [2, 7, 11, 15], ta…

List介绍

什么是List 在集合框架中,List是一个接口,继承自Collection Collection也是一个接口,该接口中规范了后序容器中常用的一些方法 Iterable也是一个接口,表示实现该接口的类是可以逐个元素进行遍历的,具体如下&#xff1…

深入理解API:从概念到实战

引言 在现代软件开发中,API(Application Programming Interface)无处不在。无论是调用第三方服务、访问操作系统功能,还是使用编程语言的标准库,API 都扮演着关键角色。但对于许多初学者来说,API 仍然是一…

织梦dedecms登录后台出现Safe Alert Request Error step 2

今天一个客户在安装织梦dedecms时候,安装完成后登录后台就出现“Safe Alert Request Error step 2”,常用dedecms的朋友都知道,这是织梦的安全机制,在程序觉得有sql注入等攻击时候,会有这种提示。 1、起初我以为是文件…

BLIP3-o:理解和生成统一的多模态模型

文章目录 研究背景BLIP3-o 框架3个关键问题BLIP3-o模型总结 paper link: https://arxiv.org/pdf/2505.09568from saleforce research 研究背景 随着gpt4o图像生成和编辑的应用火爆,如何构造能够同时处理图像理解和生成任务的统一多模态模型,成为研究的…

练习小项目7:天气状态切换器

🧠 项目目标: 点击按钮切换不同天气状态,背景或图标随之变化。 ✨ 功能描述: 显示当前天气(如:☀️ 晴天 / ☁️ 多云 / 🌧️ 雨天) 点击“切换天气”按钮,每点击一次…

esp32 lvgl9.2版本,透明底色图片的,透明部分被渲染成黑色,不随背景颜色变化解决办法

在lvgl图片转换工具时,指定转换格式为ARGB8888 代指Alpha RGB RGB565(不支持 Alpha),透明像素会被解释为黑色。改用 ARGB8888。 有问题的 转换为ARGB8888后的

AI智能分析网关V4区域入侵检测算法:全功能覆盖,多场景守护安防安全

一、方案背景​ 在当今社会,安全需求日益增长,传统安防监控系统因效率低、精准度不足等问题,已无法满足现代安全防范的要求。AI智能分析网关V4区域入侵检测算法凭借其先进的人工智能技术,能够实时、精准地识别区域内的异常入侵行…

Phantom 视频生成的流程

Phantom 视频生成的流程 flyfish Phantom 视频生成的实践 Phantom 视频生成的流程 Phantom 视频生成的命令 Wan2.1 图生视频 支持批量生成 Wan2.1 文生视频 支持批量生成、参数化配置和多语言提示词管理 Wan2.1 加速推理方法 Wan2.1 通过首尾帧生成视频 AnyText2 在图片里玩…

瑞萨单片机笔记

1.CS for CC map文件中显示变量地址 Link Option->List->Output Symbol information 2.FDL库函数 pfdl_status_t R_FDL_Write(pfdl_u16 index, __near pfdl_u08* buffer, pfdl_u16 bytecount) pfdl_status_t R_FDL_Read(pfdl_u16 index, __near pfdl_u08* buffer, pfdl_…

uniapp+ts 多环境编译

1. 创建项目 npx degit dcloudio/uni-preset-vue#vite-ts [项目名称] 2.创建env目录 多环境配置文件命名为.env.别名 添加index.d.ts interface ImportMetaEnv{readonly VITE_ENV:string,readonly UNI_PLATFORM:string,readonly VITE_APPID:string,readonly VITE_NAME:stri…

英语学习5.24

make informed decisions 表示“做出明智的决定”,是一个常用的固定搭配,常用于议论文中。 …to make informed decisions. 为了做出明智的决定(表示目的的动词不定式)。 We need accurate data to make informed decisions. Ci…