本篇文章记录近期尝试在个人笔记本上、全离线状态下搭建知识库的流程。用到的工具包括：Cherry Studio、ollama。主要过程是：首先下载ollama用于管理大模型；然后，从魔塔社区下载需要的deepseek、千问大模型和bge-m3嵌入模型，导入到ollama；最后在cherry studio构建知识库进行配置和使用。
搭建私人知识库能让知识管理更高效，实现集中存储与分类整理；使知识检索更便捷，可快速精准查询；特别是全离线状态下能增强数据安全与隐私保护，让个人自主掌控数据。
ollama下载与使用
第一步是下载ollama[1]，Ollama是一个开源的大型语言模型服务工具，能让用户在本地计算机上便捷地部署和运行多种先进的语言模型，如Qwen、Llama、DeepSeek - R1等。它提供简单的命令行界面和API，支持模型微调与自定义，具有多平台支持、性能优化、数据隐私保护等特点，适用于开发与测试、研究与学习、企业级应用等多种场景。
模型管理
# 拉取模型
# 如ollama pull llama2，其作用是从 Ollama 库中下载指定模型。
ollama pull <模型名称>
# 删除本地模型
# ollama rm <模型名称>，例如ollama rm llama2，能将本地的指定模型删除。
ollama rm <模型名称>
# 模型运行
# 如ollama run llama2，可以开启与指定模型的交互会话，在会话中能输入问题并获取模型的回答。
ollama run <模型名称>下载完后，打开命令行工具，使用ollama pull 命令就可以直接把需要的名字拉取过来，下载完成后，使用ollama run 命令，可以在命令行运行起来大模型了。
模型下载
由于我们想在离线状态下部署、安装和使用，所以我们不使用上述命令拉取。魔塔社区类似hugging face，里面汇集了很多模型和数据文件。
我们从魔塔社区下载模型，注意ollama导入模型的文件格式是guff格式。以deepseekR1 7B蒸馏版为例，我们可以从连接[2]下载到guff格式的模型。这里我用的是4.66GB 版本的模型，在我的笔记本上可以跑起来。
此外，由于我们构建知识库，还需要把知识库文件转换为向量，因为还要使用嵌入模型，这里我们也是从魔塔社区下载bge-m3[3]下载guff格式的嵌入模型。至此，我们需要的模型文件就下载好了，一个7B的大模型和一个嵌入模型。
下一步，我们需要把从魔塔社区下载的模型导入到ollama平台，不过在此之前要新建一个modelfile文件，里面写入模型的存储路径，下图是一个千问7B的例子。
我们为qwen:7B大模型和bge-m3嵌入模型新建好modelfile文件，然后在当前目录下使用以下命令，把两个模型导入到ollama平台。create 后面跟着的是你定义的模型的名字，可以自己灵活定义；-f后面跟着的是modelfile的文件名。
ollama create bge_m3:FP16 -f bge_m3.modelfile
ollama create qwen:7B -f qwen7B.modelfile导入成功后的截图如下所示，并且通过ollama list命令可以看到当前ollama平台拥有的模型。
使用cherry studio离线构建个人知识库
在cherry studio 官网[4]下载客户端，下载完成后，按照如下步骤操作。
首先：点击左下角设置按钮，选择ollama，打开右上角的开关，打开后如图所示会出现‘ON’的字样。
然后：点击下方出现的管理模型，在模型ID处填写ollama list 列表中出现的模型名字。例如我这里是qwen:7B，点击添加模型。
注意：如果是添加的bge_m3嵌入模型，则点击设置按钮，如下图把模型类型选择为嵌入类型。
最后：我们新建知识库，知识库这里可以添加各类文件、为了简单我这里只添加了三条笔记，如下图所示。
知识库使用
如上图所示，我们选择新建的知识库12和导入的7B模型，通过对话询问Bob最喜欢吃的水果，模型通过知识库检索回答了正确的答案。
参考链接：
https://ollama.com/
https://www.modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
https://www.modelscope.cn/models/gpustack/bge-m3-GGUF/files
https://www.cherry-ai.com/
