导读:在AI应用开发中,向量数据库已成为处理大规模语义搜索和相似性匹配的核心组件。本文通过详实的代码示例,深入探讨LangChain框架与Milvus向量数据库的集成实践,为开发者提供生产级别的向量数据管理解决方案。
文章聚焦于向量数据库操作的两个关键环节:数据的高效新增和精准删除。通过DashScope嵌入模型的配置与应用,读者将了解如何建立稳定的向量化pipeline,实现从文本内容到向量存储的完整流程。特别值得关注的是,文章详细解析了批量文档插入的ID管理机制,以及基于ID的删除操作如何在分布式环境中保证数据一致性。
概述
本文将详细介绍如何使用LangChain框架整合Milvus向量数据库,重点演示向量数据的新增和删除操作的完整实现过程。通过实际案例,您将掌握在生产环境中管理向量数据库的核心技能。
本文继上一篇文章进一步讲述:新版LangChain向量数据库VectorStore设计详解-CSDN博客
技术需求与目标
本次实战的主要目标包括:
- 建立LangChain与Milvus向量数据库的集成连接
- 实现向量数据的批量插入操作
- 掌握基于ID的数据删除机制
- 理解向量数据库操作的最佳实践
环境配置与依赖安装
官方文档参考
LangChain官方文档地址:Milvus | 🦜️🔗 LangChain
依赖包安装
pip install langchain_milvus
核心实现代码
导入必要的库文件
from langchain_community.embeddings import DashScopeEmbeddings
# 注意:旧版本使用 from langchain.vectorstores import Milvus
from langchain_milvus import Milvus # 推荐使用新版本导入方式
from langchain_core.documents import Document
初始化嵌入模型和向量存储
# 配置DashScope嵌入模型
embeddings = DashScopeEmbeddings(model="text-embedding-v2", # 使用第二代通用文本嵌入模型max_retries=3,dashscope_api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" # 请替换为您的实际API密钥
)# 初始化Milvus向量存储
vector_store = Milvus(embeddings,connection_args={"uri": "http://192.168.19.152:19530"}, # Milvus服务器连接地址collection_name="langchain_example", # 集合名称
)
准备测试数据集
# 创建多样化的文档样本数据
document_1 = Document(page_content="I had chocolate chip pancakes and scrambled eggs for breakfast this morning.",metadata={"source": "tweet"},
)document_2 = Document(page_content="The weather forecast for tomorrow is cloudy and overcast, with a high of 62 degrees.",metadata={"source": "news"},
)document_3 = Document(page_content="Building an exciting new project with LangChain - come check it out!",metadata={"source": "tweet"},
)document_4 = Document(page_content="Robbers broke into the city bank and stole $1 million in cash.",metadata={"source": "news"},
)document_5 = Document(page_content="Wow! That was an amazing movie. I can't wait to see it again.",metadata={"source": "tweet"},
)document_6 = Document(page_content="Is the new iPhone worth the price? Read this review to find out.",metadata={"source": "website"},
)document_7 = Document(page_content="The top 10 soccer players in the world right now.",metadata={"source": "website"},
)document_8 = Document(page_content="LangGraph is the best framework for building stateful, agentic applications!",metadata={"source": "tweet"},
)document_9 = Document(page_content="The stock market is down 500 points today due to fears of a recession.",metadata={"source": "news"},
)document_10 = Document(page_content="I have a bad feeling I am going to get deleted :(",metadata={"source": "tweet"},
)# 将所有文档组织为列表
documents = [document_1, document_2, document_3, document_4, document_5,document_6, document_7, document_8, document_9, document_10,
]
数据插入操作
# 为每个文档生成唯一的ID标识符
ids = [str(i+1) for i in range(len(documents))]
print("生成的文档ID列表:", ids)# 执行批量文档插入操作
result = vector_store.add_documents(documents=documents, ids=ids)
print("插入操作结果:", result)
数据删除操作
# 根据指定ID删除文档
result = vector_store.delete(ids=["1"])
print("删除操作结果:", result)# 删除操作返回的统计信息解释:
# insert count: 插入数量
# delete count: 删除数量
# upsert count: 更新插入数量
# timestamp: 操作时间戳
# success count: 成功数量
# err count: 错误数量
操作结果分析
删除操作执行后,系统返回详细的统计信息,格式示例如下:
(insert count: 0, delete count: 1, upsert count: 0, timestamp: 456798840753225732, success count: 0, err count: 0)
该结果表明成功删除了一条记录,操作过程中未出现错误。