基于Milvus Lite的轻量级向量数据库实战指南

一、为什么选择Milvus Lite?

在人工智能和语义搜索应用中,高效的向量检索是核心需求。相比需要部署Docker的完整版Milvus,Milvus Lite提供:

  • 零依赖:纯Python实现,无需安装Docker或外部组件

  • 开箱即用:适合快速原型开发和小规模数据场景

  • 全功能支持:完整实现增删改查、索引和搜索功能

本文将手把手教你在Windows上实现一个图书推荐系统的向量搜索 demo

二、环境准备

1. 安装必备库

bash

pip install pymilvus milvus numpy

💡 注意:Milvus Lite从2.3.0版本开始内置,无需单独安装服务端

2. 验证安装

python

import milvus
print(milvus.__version__)  # 应输出 >= 2.3.0

三、实战:图书向量搜索引擎

1. 服务启动与连接

python

from milvus import default_server
from pymilvus import connections# 配置数据存储路径(避免使用临时目录)
default_server.set_base_dir("milvus_data")  # 启动服务(默认端口19530)
default_server.start()  # 连接客户端
connections.connect("default", host="127.0.0.1", port=default_server.listen_port)

关键点

  • set_base_dir() 确保数据持久化

  • 生产环境建议设置 set_mem_limit() 限制内存使用


2. 定义数据模型

python

from pymilvus import CollectionSchema, FieldSchema, DataTypefields = [FieldSchema(name="book_id", dtype=DataType.INT64, is_primary=True),FieldSchema(name="title", dtype=DataType.VARCHAR, max_length=200),FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=128)
]
schema = CollectionSchema(fields, description="图书向量数据库")

字段类型说明

字段类型用途参数示例
INT64主键is_primary=True
VARCHAR文本max_length=200
FLOAT_VECTOR向量dim=128

3. 插入测试数据

python

import numpy as npdata = [[0, 1, 2],  # book_id["Python编程", "机器学习实战", "深度学习入门"],  # titlesnp.random.random((3, 128)).tolist()  # 随机向量
]collection.insert(data)
collection.flush()  # 确保数据持久化

批量插入优化

python

# 分批次插入大数据量
for i in range(0, len(data[0]), 1000):collection.insert([d[i:i+1000] for d in data])

4. 构建高效索引

python

index_params = {"index_type": "IVF_FLAT","metric_type": "L2","params": {"nlist": 128}
}
collection.create_index("vector", index_params)

索引类型对比

索引类型适用场景特点
IVF_FLAT小规模数据精度高,内存占用低
HNSW大规模数据速度快,但内存消耗大

5. 执行向量搜索

python

# 生成查询向量
query_vector = np.random.random(128).tolist()# 执行搜索
results = collection.search(data=[query_vector],anns_field="vector",param={"nprobe": 10},limit=3,output_fields=["title"]
)# 打印结果
for hit in results[0]:print(f"书名:{hit.entity.get('title')}, 相似度:{1 - hit.distance:.2f}")

搜索参数解析

  • nprobe:搜索的聚类中心数(值越大精度越高,速度越慢)

  • limit:返回结果数量

  • output_fields:指定返回的附加字段


四、性能优化技巧

1. 内存管理

python

# 启动时限制内存使用(单位MB)
default_server.set_mem_limit(4096)  # 使用后及时释放资源
collection.release()

2. 搜索加速

python

search_params = {"params": {"nprobe": 16,  # 扩大搜索范围"ef": 64       # HNSW专用参数}
}

3. 数据持久化

python

# 手动触发数据落盘
collection.flush()  # 设置自动刷新间隔(秒)
default_server.set_flush_interval(60)

五、常见问题解答

Q1:搜索时报错 "collection not loaded"

原因:忘记调用 load()
解决

python

collection.load()  # 显式加载集合到内存

Q2:插入速度慢

优化方案

  • 批量插入(每次1000条以上)

  • 关闭WAL日志(开发环境):

    python

    default_server.set_wal_enable(False)

Q3:如何实现过滤搜索?

python

# 只搜索book_id>1的记录
results = collection.search(...,expr="book_id > 1"
)

六、总结

通过本文,你学会了:

  1. Milvus Lite的本地化部署方法

  2. 完整的向量搜索流水线实现

  3. 生产级性能优化技巧

扩展阅读

  • Milvus官方文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/news/915517.shtml
繁体地址,请注明出处:http://hk.pswp.cn/news/915517.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习时代下的社交媒体情感分析:方法、工具与未来挑战

摘要:基于Yue等学者2019年发表的权威综述,本文系统总结情感分析的技术框架、实战资源与前沿方向,附Python代码示例。 一、情感分析为何重要? 情感分析(Sentiment Analysis)旨在从文本中提取主观态度&…

Spring Boot 3.0新特性全面解析与实战应用

Spring Boot 3.0新特性全面解析与实战应用 引言 Spring Boot 3.0作为Spring生态系统的一个重要里程碑,带来了众多令人兴奋的新特性和改进。本文将深入解析Spring Boot 3.0的核心变化,并通过实战示例展示如何在项目中应用这些新特性。 核心变化概览 Java版…

C# sqlsugar 主子表 联合显示 LeftJoin

在C#中使用SqlSugar ORM进行Left Join操作是一种常见需求,尤其是在处理复杂数据库查询时。SqlSugar是一个轻量级、高性能的ORM框架,支持多种数据库。下面是如何使用SqlSugar进行Left Join操作的示例。1. 安装SqlSugar首先,确保你的项目中已经…

【ROS1】08-ROS通信机制——服务通信

目录 一、概念 二、何时使用服务 三、话题通信与服务通信的区别 四、案例 4.1 C实现 4.1.1 服务端 4.1.2 客户端 4.1.3 测试执行 4.2 Python实现 4.2.1 服务端 4.2.2 客户端 4.2.3 客户端优化——动态传参 4.2.4 客户端优化——等待服务端启动后再发起请求 一、概…

45.sentinel自定义异常

上文提到Blocked by Sentinel(flow limits) 限流异常,这样返给用户就不太友好,所以需要自定义异常。 默认情况下,发生限流、降级、授权拦截时,都会抛出异常到调用方。如果要自定义异常时的返回结果,需要实现BlockExceptionHandler接口: BlockException有很多子类: pac…

f4硬件配置spi

f4型号是stm32f407zgt6用spi来进行MOSI,主机发送从机接收时钟频率设置为1MHzMOSI为PC3,SCK为PB10,CS设置为output->PB12时钟配置如下:波特率计算公式为:128M/(4*Prescaler) 要让波特率为1M,10…

Redis的持久化-RDB

1.持久化一提到持久化,我们就会第一时间联想到M有SQL的事务,MySQL事务有四个比较核心的特征:原子性(把多个操作打包成一个整体),一致性(事务执行之前和之后,数据都不能离谱&#xff…

前端内存泄漏

个人简介 👀个人主页: 前端杂货铺 🙋‍♂️学习方向: 主攻前端方向,正逐渐往全干发展 📃个人状态: 研发工程师,现效力于中国工业软件事业 🚀人生格言: 积跬步…

部署zabbox企业级分布式监控

目录 一、监控系统的基础认知 2.1 监控的定义与核心价值 2.2 监控的五大类型与五层逻辑架构 (1)五大监控类型 (2)五层逻辑架构 2.3 主流开源监控产品对比 二、Zabbix 系统深度解析 3.1 Zabbix 的定位与发展历程 3.2 Zabb…

时空数据可视化新范式:基于Three.js的生产全流程时间轴回溯技术解析

内容摘要在现代工业生产中,如何高效地管理和分析生产全流程数据是一个关键问题。传统的数据可视化方法往往只能展示静态的数据快照,难以捕捉和回溯生产过程中的动态变化。然而,基于 Three.js 的时间轴回溯技术为这一难题提供了一种全新的解决…

宝塔面板Nginx报错: IP+端口可以直接从访问,反向代理之后就504了 Gateway Time-out

原因表示代理服务器在等待上游服务器&#xff08;即后端服务&#xff09;响应时超时 &#xff1a;<html><head><title>504 Gateway Time-out</title> </head><body><center><h1>504 Gateway Time-out</h1></center&g…

【ComfyUI学习笔记01】下载安装 | 运行第一个工作流 | 学习思路

【ComfyUI学习笔记01】下载安装 | 运行第一个工作流 | 学习思路前言下载安装ComfyUI的下载和安装ComfyUI Manager 的下载和安装运行第一个工作流初识节点 (Nodes) 工作流案例1 Image Generation绘制流程图&#xff0c;确定关键节点放置关键节点&#xff0c;确定连接顺序补充中间…

numpy库的基础知识

一.numpy是什么 &#xff1f;Numpy 是 Python 中专门用于高性能数值计算的库&#xff0c;其核心是一个功能强大的 n 维数组对象&#xff08;ndarray&#xff09;&#xff0c;可以用来存储和操作大规模的数字矩阵或张量数据。numpy库的作用&#xff1a;核心功能&#xff1a;实现…

在UniApp中防止页面上下拖动的方法

1、pages.json中在某个页面设置禁用弹性滚动的页面 {"path": "pages/yourPage/yourPage","style": {"app-plus": {"bounce": "none"}} } 2、 pages.json中在所有页面设置禁用弹性滚动的页面 {"globalStyl…

LinkedList的模拟实现(双向链表Java)

一&#xff1a;结构LinkedList的底层是双向链表结构(链表后面介绍)&#xff0c;由于链表没有将元素存储在连续的空间中&#xff0c;元素存储在单独的节点中&#xff0c;然后通过引用将节点连接起来了&#xff0c;因此在在任意位置插入或者删除元素时&#xff0c;不需要搬移元素…

Shopify 知识点

&#x1f4dc; 一、Liquid模板语言&#xff08;核心基础&#xff09;语法结构 • 输出变量&#xff1a;{{ product.title }} 动态显示商品标题。 • 逻辑控制&#xff1a;{% if product.available %}…{% endif %} 条件渲染。 • 循环遍历&#xff1a;{% for item in collectio…

Web LLM 安全剖析:以间接提示注入为核心的攻击案例与防御体系

文章目录1 间接提示注入2 训练数据中毒为什么会出现这种漏洞&#xff1f;3 泄露敏感训练数据攻击者如何通过提示注入获取敏感数据&#xff1f;为什么会出现这种泄露&#xff1f;4 漏洞案例间接提示注入利用 LLM 中的不安全输出处理5 防御 LLM 攻击把LLM能访问的API当成“公开接…

ElasticSearch:不停机更新索引类型(未验证)

文章目录**一、前期准备****1. 集群健康检查****2. 备份数据****3. 监控系统准备****二、创建新索引并配置****1. 设计新索引映射****2. 创建读写别名****三、全量数据迁移****1. 执行初始 Reindex****2. 监控 Reindex 进度****四、增量数据同步****1. 方案选择****五、双写切换…

python学智能算法(二十七)|SVM-拉格朗日函数求解上

【1】引言 前序学习进程中&#xff0c;我们已经掌握了支持向量机算法中&#xff0c;为寻找最佳分割超平面&#xff0c;如何用向量表达超平面方程&#xff0c;如何为超平面方程建立拉格朗日函数。 本篇文章的学习目标是&#xff1a;求解SVM拉格朗日函数。 【2】求解方法 【2.…

mac安装node的步骤

适用于macOS 10.15及以上版本。 前提条件 macOS版本&#xff1a;确保系统为macOS 10.15&#xff08;Catalina&#xff09;或更高版本。可在“苹果菜单 > 关于本机”查看。管理员权限&#xff1a;部分安装可能需要管理员权限。网络连接&#xff1a;需要联网下载安装包或工具…