FastGPT私有化部署完整指南

🚀 FastGPT 私有化部署完整指南

📋 环境要求

硬件要求
最低配置:CPU: 4核内存: 8GB存储: 50GB网络: 稳定互联网连接推荐配置:CPU: 8核+内存: 16GB+存储: 100GB+ SSD网络: 10Mbps+带宽
软件环境
必需软件:- Docker: >= 20.10.0- Docker Compose: >= 2.0.0- Git: 最新版本操作系统:- Ubuntu 20.04+ (推荐)- CentOS 7+- Windows Server (支持Docker)- macOS (开发测试)

🐳 Docker Compose 部署(推荐)

1. 获取源码

# 克隆仓库
git clone https://github.com/labring/FastGPT.git
cd FastGPT# 切换到稳定版本
git checkout v4.9.14

2. 配置环境

# 进入部署目录
cd projects/app/docker# 复制配置文件
cp .env.template .env
cp config.json.template config.json

3. 修改配置文件

编辑 .env 文件
# 数据库配置
MONGO_PASSWORD=your_mongo_password
PG_PASSWORD=your_postgres_password# 服务端口
PORT=3000# 域名配置(可选)
DEFAULT_ROOT_PSW=your_admin_password
编辑 config.json 文件
{"SystemParams": {"gitBranch": "v4.9.14","chatApiKey": "","vectorMaxProcess": 15,"qaMaxProcess": 15,"pgHNSWEfSearch": 100},"llmModels": [{"model": "gpt-3.5-turbo","name": "GPT-3.5-turbo","apiKey": "YOUR_OPENAI_API_KEY","baseUrl": "https://api.openai.com/v1","maxTokens": 4000,"maxTemperature": 1.2}],"vectorModels": [{"model": "text-embedding-ada-002","name": "OpenAI-Ada","apiKey": "YOUR_OPENAI_API_KEY", "baseUrl": "https://api.openai.com/v1","dbConfig": {}}]
}

4. 启动服务

# 启动所有服务
docker-compose up -d# 查看服务状态
docker-compose ps# 查看日志
docker-compose logs -f fastgpt

⚙️ 详细配置说明

大模型配置

OpenAI 配置
{"model": "gpt-4","name": "GPT-4","apiKey": "sk-xxxxxxxx","baseUrl": "https://api.openai.com/v1","maxTokens": 8000,"maxTemperature": 1.2,"vision": true
}
国产大模型配置
// 阿里通义千问
{"model": "qwen-max", "name": "通义千问Max","apiKey": "sk-xxxxxxxx","baseUrl": "https://dashscope.aliyuncs.com/compatible-mode/v1","maxTokens": 6000
}// 深度求索
{"model": "deepseek-chat","name": "DeepSeek Chat", "apiKey": "sk-xxxxxxxx","baseUrl": "https://api.deepseek.com/v1","maxTokens": 4000
}

向量模型配置

// 本地BGE模型
{"model": "bge-large-zh-v1.5","name": "BGE-Large-ZH","baseUrl": "http://localhost:6006/v1", "dbConfig": {"dimensions": 1024}
}// OpenAI Embedding
{"model": "text-embedding-3-large","name": "OpenAI-Embedding-3-Large","apiKey": "sk-xxxxxxxx","baseUrl": "https://api.openai.com/v1","dbConfig": {"dimensions": 3072}
}

🛠️ 本地模型部署

1. Ollama 本地部署

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh# 拉取模型
ollama pull qwen2.5:7b
ollama pull bge-m3:latest# 启动服务
ollama serve
FastGPT 配置 Ollama
{"llmModels": [{"model": "qwen2.5:7b","name": "通义千问2.5-7B","baseUrl": "http://host.docker.internal:11434/v1","apiKey": "ollama","maxTokens": 4000}],"vectorModels": [{"model": "bge-m3:latest", "name": "BGE-M3","baseUrl": "http://host.docker.internal:11434/v1","apiKey": "ollama"}]
}

2. Xinference 部署

# 安装 Xinference
pip install xinference# 启动服务
xinference-local --host 0.0.0.0 --port 9997# 通过 Web UI 管理模型
# http://localhost:9997

🌐 反向代理配置

Nginx 配置

server {listen 80;server_name your-domain.com;# 重定向到 HTTPSreturn 301 https://$server_name$request_uri;
}server {listen 443 ssl;server_name your-domain.com;# SSL 证书配置ssl_certificate /path/to/cert.pem;ssl_certificate_key /path/to/key.pem;location / {proxy_pass http://localhost:3000;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;# WebSocket 支持proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection "upgrade";}
}

📊 数据库管理

MongoDB 管理

# 连接 MongoDB
docker exec -it fastgpt-mongo mongo -u myusername -p mypassword# 备份数据库
docker exec fastgpt-mongo mongodump -u myusername -p mypassword -d fastgpt -o /backup# 恢复数据库
docker exec fastgpt-mongo mongorestore -u myusername -p mypassword -d fastgpt /backup/fastgpt

PostgreSQL 管理

# 连接 PostgreSQL
docker exec -it fastgpt-pg psql -U username -d postgres# 备份数据库
docker exec fastgpt-pg pg_dump -U username fastgpt > backup.sql# 恢复数据库
docker exec -i fastgpt-pg psql -U username fastgpt < backup.sql

🔧 常见问题解决

1. 服务启动失败

# 检查端口占用
netstat -tulpn | grep :3000# 检查磁盘空间
df -h# 重启服务
docker-compose restart

2. 内存不足

# 在 docker-compose.yml 中限制内存
services:fastgpt:deploy:resources:limits:memory: 4Greservations:memory: 2G

3. API 连接问题

# 测试 API 连通性
curl -X POST https://api.openai.com/v1/chat/completions \-H "Authorization: Bearer YOUR_API_KEY" \-H "Content-Type: application/json" \-d '{"model":"gpt-3.5-turbo","messages":[{"role":"user","content":"Hello"}]}'

🚀 生产环境优化

性能优化配置

# docker-compose.yml 优化
version: '3.8'
services:fastgpt:restart: alwayslogging:driver: "json-file"options:max-size: "100m"max-file: "3"deploy:resources:limits:cpus: '4.0'memory: 8Greservations:cpus: '2.0'memory: 4G

监控配置

# 添加健康检查
healthcheck:test: ["CMD", "curl", "-f", "http://localhost:3000/api/system/getInitData"]interval: 30stimeout: 10sretries: 3

📋 部署检查清单

部署前检查 ✅

□ 服务器资源充足
□ Docker 环境正常
□ 网络连接稳定
□ 域名解析配置
□ SSL 证书准备
□ API Key 有效

部署后验证 ✅

□ 服务正常启动
□ Web 界面可访问
□ 数据库连接正常
□ 大模型调用成功
□ 文件上传功能正常
□ 对话功能测试通过

🎯 总结

FastGPT 私有化部署相对简单,关键要点:

  1. 环境准备:确保 Docker 环境和硬件资源充足
  2. 配置管理:正确配置大模型和向量模型 API
  3. 安全考虑:使用 HTTPS、强密码、防火墙配置
  4. 监控维护:定期备份、日志监控、性能优化

部署成功后,你将拥有一个完全私有的 AI 知识库平台!🎉

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/diannao/89248.shtml
繁体地址,请注明出处:http://hk.pswp.cn/diannao/89248.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

系统架构设计师论文分享-基于架构的软件设计方法及应用

我的软考历程 摘要 2023年2月&#xff0c;我所在的公司做了开发纱线MES系统的决定&#xff0c;该系统为国内纱线工厂提供SAAS服务&#xff0c;旨在提高纱线工厂的智能化和数字化水平。我在该项目中被任命为系统架构设计师&#xff0c;全面掌管该项目的架构设计工作。本文将结…

团结引擎发布纯鸿蒙应用

大家好&#xff0c;我是阿赵。   这里尝试一下用团结引擎发布纯鸿蒙系统的应用。 一、 安装鸿蒙系统发布需要的组件 在团结引擎的Hub里面找到Add modules: 然后找到OpenHarmony的支持选项&#xff0c;由于我已经安装过了&#xff0c;所以会显示Installed&#xff0c;如果没…

C++基础(FreeRDP编译)

安装 先安装openssl 保姆级OpenSSL下载及安装教程,OpenSSL下载及安装教程-CSDN博客 vcpkg integrate install 安装 vcpkg install zlib vcpkg install ffmpeg:x64-windows 编译指令 PS D:\freerdp\FreeRDP\build> cmake .. -G "Visual Studio 17 2022" -A x…

用celery作为信息中间件

要在 Django 的 settings.py 中设置 Redis 作为 Celery 的 broker 和(可选)backend,你需要添加如下配置: 安装依赖(如未安装): pip install celery redis在 settings.py 中添加 Celery 配置(推荐放在文件底部): # Celery 配置 CELERY_BROKER_URL = redis://127.0.0.1…

Postman介绍及使用

Postman 是一个强大的 API 开发、测试和文档化工具&#xff0c;广泛用于开发者、测试人员和 API 设计者。以下是 Postman 的核心使用指南&#xff0c;涵盖基础操作到进阶功能&#xff1a; 一、基础使用 安装与界面 下载&#xff1a;官网下载&#xff08;支持 Windows/macOS/Lin…

Android14音频子系统-ASoC-ALSA之DAPM电源管理子系统

文章目录 概述1&#xff09;codec对象-WM89602&#xff09;ALSA下的kcontrol的构造与使用3&#xff09;ASOC-ALSA下的kcontrol构造与使用1、通用寄存器对象 - kcontrol2、DAPM下的寄存器对象-widget3、如何构造widget&#xff1f;4、抽象对象widget、route与path1&#xff09;r…

如何修改anaconda 创建新虚拟环境的路径(默认是C:\.conda\envs)

参考文章&#xff1a; 如何修改anaconda 创建新虚拟环境的路径(默认是C&#xff1a;\.conda\envs)_anaconda创建环境怎么改路径-CSDN博客

前缀和计算

前缀和 输入一个长度为n的整数序列。接下来再输入m个询问&#xff0c;每个询问输入一对l, r。对于每个询问&#xff0c;输出原序列中从第l个数到第r个数的和。 所用方法和基本原理 前缀和数组的构建&#xff1a; 首先定义了一个方法getPrefixSum来构建前缀和数组。前缀和数组…

BP神经网络支持向量机实现风机故障诊断

BP神经网络&#xff0c;支持向量机等用于风机故障诊断 BP神经网络&#xff0c;支持向量机等用于风机故障诊断/成功算法/bp20111202_FDD.m , 1580 BP神经网络&#xff0c;支持向量机等用于风机故障诊断/成功算法/BP_FDD.m , 6044 BP神经网络&#xff0c;支持向量机等用于风机故…

c++ std::initializer_list

测试代码&#xff1a; int sum(std::initializer_list<int> params) { // 传递若干同类型参数int total 0;for (auto num : params) {total num;}return total; }void testInitializer_list() {// 自定义类支持列表初始化class Demo {public:Demo(std::initializer_li…

Python 数据分析与机器学习入门 (五):Matplotlib 数据可视化基础

引言&#xff1a;为何可视化至关重要&#xff1f; 俗话说&#xff0c;“一图胜千言”。在数据分析领域&#xff0c;这句话尤其正确。原始的数据表格和统计摘要虽然精确&#xff0c;但往往难以揭示数据中隐藏的模式、趋势、异常值和关系。数据可视化通过将数据转换成图形&#…

AI基础1--线性代数(TODO)

1 前言 关于矩阵的运算&#xff0c;其实之前写过一篇&#xff1a;算法矩阵提速原理_矩阵分块计算速度会更快嘛-CSDN博客 还是那句话&#xff0c;计算机懂个毛的高等数学。只是矩阵运算的并行性和结构化特点与 SIMD/GPU 的执行模型非常一致。在实际硬件实现中&#xff0c;许多矩…

如何让宿主机完全看不到Wi-Fi?虚拟机独立联网隐匿上网实战!

“如何让宿主机完全看不到Wi-Fi&#xff1f;虚拟机独立联网隐匿上网实战&#xff01;” 一、前言 在某些特定环境&#xff08;如企业办公或信息安全测试&#xff09;中&#xff0c;我们可能有这样的需求&#xff1a; 让宿主机无法识别或使用某个USB网络设备&#xff0c;但虚拟…

Excel基础操作知识笔记

​ 学习视频链接&#xff1a; ​​​​​​【公开课】Excel基础大全&#xff08;1-66集&#xff09;【超高清版】_哔哩哔哩_bilibili 深圳则秀教育官方账号的个人空间-深圳则秀教育官方账号个人主页-哔哩哔哩视频 Excel技巧零基础入门公开课小白&#xff08;Excel表格制作|Exc…

【2025/06/30】GitHub 今日热门项目

GitHub 今日热门项目 &#x1f680; 每日精选优质开源项目 | 发现优质开源项目&#xff0c;跟上技术发展趋势 &#x1f4cb; 报告概览 &#x1f4ca; 统计项&#x1f4c8; 数值&#x1f4dd; 说明&#x1f4c5; 报告日期2025-06-30 (周一)GitHub Trending 每日快照&#x1f55…

Oracle 进阶语法实战:从多维分析到数据清洗的深度应用​(第四课)

在《Oracle 树形统计再进阶》(第三课)基础上&#xff0c;我们跳出传统 SQL 聚合框架&#xff0c;探索Oracle 特有的高级语法特性&#xff0c;包括多维分析神器MODEL子句、数据清洗利器正则表达式、PL/SQL 存储过程优化&#xff0c;以及基于执行计划的查询调优技巧。这些技术能解…

SpringBoot -- 自动配置原理

SpringBoot 自动配置原理 基础知识 Bean扫描 我们在学习 Spring 的时候&#xff0c;如果要把标注一下注解的类扫描进 IOC 容器 Controller&#xff0c;Service&#xff0c;Mapper&#xff0c;是需要通过一下两种方式实现的&#xff0c;但是我们在 SpringBoot 工程中并没有编写…

Kubernetes从入门到精通-服务发现Service

一、为什么需要 Service&#xff1f; Pod 的动态性&#xff1a; Pod 是 Kubernetes 调度的基本单位。它们可能因为故障、滚动更新、扩缩容等原因随时被创建或销毁。 Pod IP 的不稳定性&#xff1a; 每个 Pod 都有自己的 IP 地址&#xff0c;但当 Pod 重建时&#xff0c;IP 地址…

Milvus 资源调度系统的核心部分:「查询节点」「资源组」「数据库」

Milvus 的资源管理分为三层&#xff1a;查询节点、资源组和 数据库。 查询节点&#xff1a;处理查询任务的组件。它在物理机或容器&#xff08;如 Kubernetes 中的 pod&#xff09;上运行。 资源组&#xff1a;查询节点的集合&#xff0c;充当逻辑组件&#xff08;数据库和 C…

我的第一个开源项目:用Python搭建轻量级静态网页服务器—— 零基础也能实现的Web开发初体验

一、为什么选择静态服务器&#xff1f; 极简高效&#xff1a;无需数据库或复杂后端逻辑&#xff0c;适合展示简历、作品集等静态内容 学习曲线平缓&#xff1a;是理解HTTP协议和Web服务原理的最佳入门方式 资源消耗低&#xff1a;单文件Python脚本即可运行&#xff0c;内存占…