ABP VNext + RediSearch:微服务级全文检索

ABP VNext + RediSearch:微服务级全文检索 🚀


📚 目录

  • ABP VNext + RediSearch:微服务级全文检索 🚀
    • 📚 一、背景与动机 🚀
    • 🛠️ 二、环境与依赖 🐳
      • 2.1 Docker Compose 启动 Redis Stack
      • 2.2 Kubernetes 部署(示例 Manifest)
      • 2.3 ABP VNext & NuGet 包
    • 🏗️ 三、架构与流程图 🏗️
    • 🔧 四、索引模型与依赖注入 🔧
      • 4.1 模型定义
      • 4.2 服务注册
    • 🛠️ 五、IndexService & SearchService 实现 🛠️
      • 接口
      • `RedisOmIndexService`
      • `RedisOmSearchService`
    • ⚙️ 六、数据同步策略 🔄
      • 6.1 EF Core 批量扩展
      • 6.2 实时新增/更新/删除
      • 6.3 批量重建:`RebuildIndexJob`
    • 📄 七、复杂查询示例 🔍
    • 📊 八、性能对比测试示例脚本 📈
    • 🚦 九、生产最佳实践 & 陷阱提示 ⚠️
    • 📂 参考资料 📚


✨ TL;DR

  • 🚀 利用 Redis Stack(内置 RediSearch)+ Redis.OM,在 ABP VNext 微服务中实现毫秒级全文检索
  • 🐳 Docker Compose & 🎯 Kubernetes Manifest:持久化、ACL 认证、RedisInsight 可视化
  • 🏷️ 全局 Prefix + 动态 IndexName,完美隔离多租户索引与数据
  • 🔄 完整功能:索引创建/删除/写入/批量、实时/删除同步、批量重建、Polly 重试
  • 🔍 支持全文、Tag、数值、地理、Facet 聚合;📈 性能对比 PostgreSQL LIKE/FTS vs. RediSearch
  • 🔒 生产建议:AOF/RDB、ACL、Pre-commit/SAST、监控 & 慢查询、Testcontainers 集成测试

📚 一、背景与动机 🚀

传统关系型数据库全文检索(LIKE '%关键词%' 或 FTS)在微服务、高并发场景下常遇:

  • 性能瓶颈:百万级文档延时 100+ ms;
  • 功能受限:地理半径、Facet 聚合需自研;
  • 扩展复杂:分片与高可用运维成本高。

RediSearch 基于内存倒排索引,支持次毫秒级响应实时更新地理 & 聚合,完美契合高吞吐、低延迟检索需求。


🛠️ 二、环境与依赖 🐳

2.1 Docker Compose 启动 Redis Stack

version: "3.8"
services:redis:image: redis/redis-stack:latestcontainer_name: redis-stackports:- "6379:6379"- "8001:8001"volumes:- redis-data:/datacommand:- redis-server- --requirepass YourStrong!Pass- --appendonly yes
volumes:redis-data:
  • 🔐 安全--requirepass 强制认证
  • 💾 持久化--appendonly yes 开启 AOF
  • 🔍 GUI:访问 http://localhost:8001 使用 RedisInsight

提示:Docker Compose v3 下资源限制字段无效,如需限内存请用 Swarm 或 CLI 参数 --memory

docker-compose up -d

2.2 Kubernetes 部署(示例 Manifest)

apiVersion: apps/v1
kind: Deployment
metadata:name: redis-stack
spec:replicas: 1selector: { matchLabels: { app: redis-stack } }template:metadata: { labels: { app: redis-stack } }spec:containers:- name: redisimage: redis/redis-stack:latestargs: ["redis-server", "--requirepass", "YourStrong!Pass", "--appendonly", "yes"]ports:- containerPort: 6379- containerPort: 8001volumeMounts:- mountPath: /dataname: redis-datavolumes:- name: redis-datapersistentVolumeClaim:claimName: redis-pvc
---
apiVersion: v1
kind: Service
metadata:name: redis-stack
spec:type: ClusterIPports:- port: 6379- port: 8001selector:app: redis-stack

2.3 ABP VNext & NuGet 包

dotnet add package Redis.OM
dotnet add package StackExchange.Redis
dotnet add package Volo.Abp.Caching.StackExchangeRedis
dotnet add package Polly

appsettings.json

{"Abp": {"DistributedCache": {"Redis": {"Configuration": "localhost:6379,password=YourStrong!Pass,allowAdmin=true","InstanceName": "MyApp:"}}}
}

🏗️ 三、架构与流程图 🏗️

服务端
SaveChanges
领域事件
Upsert/Delete
BulkInsert
SearchAsync
FT.SEARCH
API/ApplicationService
EF Core → PostgreSQL
RediSearch 索引 ← Redis.OM
DataSyncHandler
RebuildIndexJob
前端

🔧 四、索引模型与依赖注入 🔧

4.1 模型定义

using Redis.OM.Modeling;[Document(IndexName = "product-idx")]  // 基础索引名
public class ProductIndex
{[RedisIdField]                   // 主键public string Id { get; set; }[Searchable]                     // 全文public string Name { get; set; }[Indexed(IsTag = true)]          // Tagpublic string Category { get; set; }[Indexed(IsSortable = true)]     // 数值/排序public decimal Price { get; set; }[Indexed(IsGeo = true)]          // 地理public GeoLoc Location { get; set; }
}

4.2 服务注册

public override void ConfigureServices(ServiceConfigurationContext context)
{// 1. ABP Redis 缓存context.Services.AddStackExchangeRedisCache(options => {});// 2. ConnectionMultiplexercontext.Services.AddSingleton(sp =>ConnectionMultiplexer.Connect(sp.GetRequiredService<IConfiguration>().GetSection("Abp:DistributedCache:Redis:Configuration").Value));// 3. Redis.OM Providercontext.Services.AddSingleton(sp =>{var mux      = sp.GetRequiredService<ConnectionMultiplexer>();var tenantId = sp.GetService<ICurrentTenant>()?.GetId()?.ToString() ?? "global";return new RedisConnectionProvider(new RedisConnectionProviderOptions{RedisConnection = mux,Prefix          = $"tenant:{tenantId}:"});});// 4. 注入索引/搜索服务context.Services.AddTransient<IIndexService, RedisOmIndexService>();context.Services.AddTransient<ISearchService, RedisOmSearchService>();
}

注意Prefix 仅对文档 HashKey 生效,不会自动修改 FT.CREATE 的索引名。若需隔离多租户索引,需在 CreateIndexAsync/DropIndexAsync 中手动拼接:

var indexName = $"{prefix}product-idx";

🛠️ 五、IndexService & SearchService 实现 🛠️

接口

public interface IIndexService
{Task CreateIndexAsync<T>() where T : class;Task DropIndexAsync<T>()   where T : class;Task UpsertAsync<T>(T doc) where T : class;Task DeleteAsync<T>(string id) where T : class;Task BulkInsertAsync<T>(IEnumerable<T> docs) where T : class;
}public interface ISearchService
{Task<SearchResult<T>> SearchAsync<T>(string query, int skip = 0, int take = 20) where T : class;Task<SearchResult<T>> SearchAsync<T>(SearchDefinition def) where T : class;
}

RedisOmIndexService

public class RedisOmIndexService : IIndexService
{private readonly RedisConnectionProvider _prov;private readonly IDatabase _db;private readonly string _prefix;public RedisOmIndexService(RedisConnectionProvider prov,ConnectionMultiplexer mux){_prov   = prov;_db     = mux.GetDatabase();_prefix = prov.Prefix;  // 如 "tenant:1:"}public Task CreateIndexAsync<T>() where T : class{var baseIdx = _prov.RedisCollection<T>().IndexName;var idxName = $"{_prefix}{baseIdx}";// 使用 Redis.OM 默认 schemareturn _db.ExecuteAsync("FT.CREATE",idxName, "ON", "HASH","PREFIX", "1", $"{_prefix}{typeof(T).Name.ToLowerInvariant()}:","SCHEMA", /* ... schema args ... */);}public async Task DropIndexAsync<T>() where T : class{var idxName = $"{_prefix}{_prov.RedisCollection<T>().IndexName}";var rl      = (RedisResult[])await _db.ExecuteAsync("FT._LIST");var list    = rl.Select(r => (string)r).ToArray();if (list.Contains(idxName))await _db.ExecuteAsync("FT.DROPINDEX", idxName, "DD");}public Task UpsertAsync<T>(T doc) where T : class=> _prov.RedisCollection<T>().InsertAsync(doc);public Task DeleteAsync<T>(string id) where T : class=> _prov.RedisCollection<T>().DeleteAsync(id);public async Task BulkInsertAsync<T>(IEnumerable<T> docs) where T : class{// 限制并发,防止瞬时打垮 Redisusing var sem = new SemaphoreSlim(50);var tasks = docs.Select(async d =>{await sem.WaitAsync();try { await _prov.RedisCollection<T>().InsertAsync(d); }finally { sem.Release(); }});await Task.WhenAll(tasks);}
}

RedisOmSearchService

public class RedisOmSearchService : ISearchService
{private readonly RedisConnectionProvider _prov;public RedisOmSearchService(RedisConnectionProvider prov) => _prov = prov;public async Task<SearchResult<T>> SearchAsync<T>(string query, int skip = 0, int take = 20) where T : class{var col = _prov.RedisCollection<T>();var res = await col.SearchAsync(new SearchDefinition(query).Limit(skip, take));return new SearchResult<T>{Items = res.Documents.Select(d => d.Object).ToList(),Total = res.TotalResults};}public async Task<SearchResult<T>> SearchAsync<T>(SearchDefinition def) where T : class{var col = _prov.RedisCollection<T>();var res = await col.SearchAsync(def);return new SearchResult<T>{Items = res.Documents.Select(d => d.Object).ToList(),Total = res.TotalResults};}
}

⚙️ 六、数据同步策略 🔄

6.1 EF Core 批量扩展

public static class IQueryableExtensions
{public static async IAsyncEnumerable<List<T>> BatchAsync<T>(this IQueryable<T> source, int size){var total = await source.CountAsync();for (int i = 0; i < total; i += size)yield return await source.Skip(i).Take(size).ToListAsync();}
}

6.2 实时新增/更新/删除

// 新增/更新
public class ProductChangedHandler: ILocalEventHandler<EntityChangedEventData<Product>>
{private readonly IIndexService _idx;private readonly AsyncPolicy _retry = Policy.Handle<Exception>().WaitAndRetryAsync(new[]{TimeSpan.FromMilliseconds(50),TimeSpan.FromMilliseconds(100)});public ProductChangedHandler(IIndexService idx) => _idx = idx;public async Task HandleEventAsync(EntityChangedEventData<Product> e){var doc = new ProductIndex {Id       = e.Entity.Id.ToString(),Name     = e.Entity.Name,Category = e.Entity.Category,Price    = e.Entity.Price,Location = new GeoLoc(e.Entity.Lat, e.Entity.Lng)};await _retry.ExecuteAsync(() => _idx.UpsertAsync(doc));}
}// 删除
public class ProductDeletedHandler: ILocalEventHandler<EntityDeletedEventData<Product>>
{private readonly IIndexService _idx;public ProductDeletedHandler(IIndexService idx) => _idx = idx;public Task HandleEventAsync(EntityDeletedEventData<Product> e)=> _idx.DeleteAsync<ProductIndex>(e.EntityId.ToString());
}

6.3 批量重建:RebuildIndexJob

public class RebuildIndexJob : IBackgroundJob
{private readonly IRepository<Product, Guid> _repo;private readonly IIndexService _idx;public RebuildIndexJob(IRepository<Product, Guid> repo, IIndexService idx){_repo = repo; _idx = idx;}public async Task ExecuteAsync(){await _idx.DropIndexAsync<ProductIndex>();await _idx.CreateIndexAsync<ProductIndex>();var q = _repo.WithDetails().Select(p => new ProductIndex {Id       = p.Id.ToString(),Name     = p.Name,Category = p.Category,Price    = p.Price,Location = new GeoLoc(p.Lat, p.Lng)});await foreach (var batch in q.BatchAsync(500))await _idx.BulkInsertAsync(batch);}
}

📄 七、复杂查询示例 🔍

// 1. 简单全文
var r1 = await _search.SearchAsync<ProductIndex>("\"wireless headphones\"", 0, 20);// 2. Tag + Range + Geo + 排序
var def = new SearchDefinition().FilterByTag(nameof(ProductIndex.Category), "Audio").FilterByRange(nameof(ProductIndex.Price), 50, 200).FilterByGeo(nameof(ProductIndex.Location), lat, lng, 10).OrderByDescending(nameof(ProductIndex.Price)).Limit(0, 20);
var r2 = await _search.SearchAsync<ProductIndex>(def);// 3. Facet 聚合
var fdef = new SearchDefinition("headphones").AddFacet(nameof(ProductIndex.Category));
var agg = await _search.SearchAsync<ProductIndex>(fdef);

📊 八、性能对比测试示例脚本 📈

public async Task TestPerformanceAsync()
{var db  = new MyAppDbContext();var sw  = new Stopwatch();var idx = _search;sw.Start();await db.Products.Where(p => EF.Functions.Like(p.Name, "%headphones%")).ToListAsync();Console.WriteLine($"SQL LIKE: {sw.ElapsedMilliseconds} ms");sw.Restart();await db.Products.Where(p => EF.Functions.ToTsVector("english", p.Name).Matches(EF.Functions.PlainToTsQuery("english", "headphones"))).ToListAsync();Console.WriteLine($"PostgreSQL FTS: {sw.ElapsedMilliseconds} ms");sw.Restart();await idx.SearchAsync<ProductIndex>("headphones");Console.WriteLine($"RediSearch: {sw.ElapsedMilliseconds} ms");
}

🚦 九、生产最佳实践 & 陷阱提示 ⚠️

  1. 持久化 & 安全

    • --appendonly yes + 挂载 /data
    • ACL/requirepass + 客户端配置密码;
  2. 多租户索引隔离

    • Prefix 仅对文档 Key 生效;

    • 手动拼接索引名:

      var idxName = $"{prefix}product-idx";
      
  3. 异常 & 重试

    • Polly 重试 + CancellationToken 超时;
  4. 监控 & 告警

    • FT.SLOWLOG、Redis slowlog;
    • RedisInsight/Prometheus Exporter;
  5. 安全扫描 & 质量

    • Pre-commitdotnet-format、StyleCop;
    • 依赖扫描:OWASP Dependency-Check;
    • SAST:GitHub CodeQL/SonarQube;
  6. 集成测试

    • Testcontainers 启动 Redis Stack,覆盖 CRUD/Search;

📂 参考资料 📚

  • Redis Stack
  • Redis OM .NET
  • ABP 文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/88002.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/88002.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

TensorFlow深度学习实战——基于自编码器构建句子向量

TensorFlow深度学习实战——基于自编码器构建句子向量 0. 前言1. 句子向量2. 基于自编码器构建句子向量2.1 数据处理2.2 模型构建与训练 3. 模型测试相关链接 0. 前言 在本节中&#xff0c;我们将构建和训练一个基于长短期记忆 (Long Short Term Memory, LSTM) 的自编码器&…

C语言使用Protobuf进行网络通信

笔者前面博文Go语言网络游戏服务器模块化编程介绍了Go语言在开发网络游戏时如何进行模块化编程&#xff0c;在其中使用了Protobuf进行网络通信。在Protobuf官方实现中并没有生成C语言的实现&#xff0c;不过有一个开源的protobuf-c可以使用。 先来看看protobuf-c生成的代码&am…

vue3 随手笔记12--组件通信方式9/5--useAttrs

一 什么是useAttrsuseAttrs 是 Vue 3 Composition API 中提供的一个函数&#xff0c;它属于 Vue 的组合式 API 工具集的一部分。通过 useAttrs&#xff0c;你可以访问传递给组件但未被声明为 props 的所有属性。这对于处理非 prop 特性&#xff08;attributes&#xff09;特别有…

HumanRisk-自动化安全意识与合规教育平台方案

权威数据显示&#xff0c;74%以上的数据泄露与网络安全事件归根结底与人为因素有关&#xff0c;60%以上的网络安全事件是由内部人员失误造成的。这一现状揭示了一个核心命题&#xff1a;网络安全威胁正从技术漏洞转向“人为因素风险”。Gartner的调查发现&#xff0c;即便接受了…

2025年食品科学与健康大数据国际会议(SHBD 2025)

2025年食品科学与健康大数据国际会议 2025 International Conference on Food Science and Health Big Data&#xff08;一&#xff09;大会信息 会议简称&#xff1a;ICFSHBD 2025 大会地点&#xff1a;中国上…

CompareFace人脸识别算法环境部署

一、docker 安装 步骤1&#xff1a;启用系统功能 右键开始菜单 → 应用和功能 → 点击 程序和功能 → 勾选 Hyper-V 和 Windows子系统Linux 步骤2&#xff1a;获取安装包 访问Docker官网安装包下载页 &#xff0c;下载「Docker Desktop Installer.rar」压缩包 步骤3&#…

STM32固件升级设计——内部FLASH模拟U盘升级固件

目录 一、功能描述 1、BootLoader部分&#xff1a; 2、APP部分&#xff1a; 二、BootLoader程序制作 1、分区定义 2、 主函数 3、配置USB 4、配置fatfs文件系统 5、程序跳转 三、APP程序制作 四、工程配置&#xff08;默认KEIL5&#xff09; 五、运行测试 结束语…

操作系统引导过程

操作系统引导是指计算机利用 CPU 运行特定程序&#xff0c;通过程序识别硬盘&#xff0c;识别硬盘分区&#xff0c;识别硬盘分区上的操作系统&#xff0c;最后通过程序启动操作系统。 引导流程&#xff08;8步核心环节&#xff09; 1. 激活CPU 加电后CPU自动读取 ROM中的Boot…

Safetensors与大模型文件格式全面解析

Safetensors是一种专为存储大型张量数据设计的文件格式&#xff0c;由Hugging Face团队开发&#xff0c;旨在提供安全高效的模型参数存储解决方案。下面将详细介绍Safetensors格式及其特点&#xff0c;并全面梳理当前主流的大模型文件格式。 一、Safetensors格式详解 1. 基本概…

分布式理论:CAP、Base理论

目录 1、CAP理论 1.1、介绍 1.2、CAP的三种选择 1.3、CAP的注意事项 2、BASE理论 2.1、定义介绍 2.2、最终一致性的介绍 2.3、BASE的实现方式 2.4、与ACID的对比 3、CAP与BASE的联系 4、如何选择CAP 前言 在分布式系统中&#xff0c;CAP理论和BASE理论是指导系统设计…

【最新】飞算 JavaAl安装、注册,使用全流程,让ai自己给你写代码,解放双手

目录 飞算 JavaAl 产品介绍 安装飞算 JavaAl 第一步&#xff1a;点击 File->Setting 第二步&#xff1a;点击 Plugins 第三步&#xff1a;搜索 CalEx-JavaAI 第四步&#xff1a;点击 Install 进行安装 第五步&#xff1a;点击 Install &#xff0c;查看安装好的飞算…

无人设备遥控器之姿态控制算法篇

无人设备遥控器的姿态控制算法通过传感器数据融合、控制算法优化和执行机构调节实现动态平衡&#xff0c;核心算法包括PID控制、自适应控制、模型预测控制&#xff08;MPC&#xff09;&#xff0c;以及数据融合中的互补滤波和卡尔曼滤波&#xff0c;同时涉及四元数算法和深度强…

【加解密与C】Base系列(三)Base85

Base85 编码简介 Base85&#xff08;也称为 Ascii85&#xff09;是一种二进制到文本的编码方案&#xff0c;用于将二进制数据转换为可打印的ASCII字符。它的效率高于Base64&#xff0c;但生成的字符串可能包含特殊字符&#xff08;如引号或反斜杠&#xff09;&#xff0c;需在…

Docker企业级应用:从入门到生产环境最佳实践

一、Docker核心概念与架构 1.1 Docker技术栈 #mermaid-svg-CUEiyGo05ZYG524v {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-CUEiyGo05ZYG524v .error-icon{fill:#552222;}#mermaid-svg-CUEiyGo05ZYG524v .error-te…

8、保存应用数据

目录用户首选项的使用用户首选项主要API用户首选项开发流程用户首选项开发实践关系型数据库的使用关系型数据库工作流程关系型数据库开发实践用户首选项的使用 用户首选项主要API 用户首选项开发流程 成功的获取了一个名为myStore的Preferences实例 保存了一个键值对&#x…

(C++)list列表相关基础用法(C++教程)(STL库基础教程)

源代码&#xff1a;#include <iostream> #include <list>using namespace std;int main(){list<int> numbers{10,20,30};numbers.push_front(5);numbers.push_back(40);auto it numbers.begin();advance(it,2);numbers.insert(it,15);cout<<"该列…

Spring CGLIB私有方法访问成员变量为null问题

场景 代码 RestController public class TestJob {Autowiredprivate XxService xxService;XxlJob("testCGLIB")private void doTest(){System.out.println("方法调用");System.out.println("成员变量注入:"(xxService!null));this.doInnerTest()…

Paimon本地表查询引擎LocalTableQuery详解

LocalTableQueryLocalTableQuery 是 Paimon 中实现本地化、带缓存的表查询的核心引擎。它的主要应用场景是 Flink 中的 Lookup Join。当 Flink 作业需要根据一个流中的 Key 去关联一个 Paimon 维表时&#xff0c;LocalTableQuery 可以在 Flink 的 TaskManager 节点上&#xff0…

使用协程简化异步资源获取操作

异步编程的两种场景 在异步编程中&#xff0c;回调函数通常服务于两种不同场景&#xff1a; 一次性资源获取&#xff1a;等待异步操作完成并返回结果。持续事件通知。监听并响应多个状态变更。 Kotlin为这两种场景提供了解决方案&#xff1a;使用挂起函数简化一次性资源获取…

ABP VNext + Cosmos DB Change Feed:搭建实时数据变更流服务

ABP VNext Cosmos DB Change Feed&#xff1a;搭建实时数据变更流服务 &#x1f680; &#x1f4da; 目录ABP VNext Cosmos DB Change Feed&#xff1a;搭建实时数据变更流服务 &#x1f680;TL;DR ✨&#x1f680;1. 环境与依赖 &#x1f3d7;️2. 服务注册与依赖注入 &…