告别繁琐配置!从零到一,手把手带你用 Docker 私有化部署 FastGPT,打造专属 AI 知识库

UID:116 一级用户组

全文实测,可直接复制,拒绝云教程。目标:让完全没接触过 Docker 的小白,也能在 30 分钟内跑起来。

写在前面:你为什么需要私有化知识库?

先问自己几个问题:

  • 公司内部几千份 SOP 文档,新人培训全靠口口相传?

  • 每次被问同样的问题,你要重复回答几十遍?

  • 把内部文档喂给 ChatGPT?数据安全谁敢保证?

这就是私有化知识库的刚需场景。而 FastGPT,是目前开源方案里把「好用」和「易部署」平衡得最好的------没有之一。

一、部署前:你需要准备什么?

硬件门槛(真·不挑机器)

官方要求 2C4G,实测 2C2G 的轻量服务器也能跑(但会有点喘,建议 4G 内存打底)。

以下配置随便选一个就行:

方案类型 具体选择 费用 适用场景
云服务器 阿里云/腾讯云 2C4G 轻量 约 50-80元/月 生产环境、公网访问
本地电脑 任意装了 Docker 的电脑 0元 本地测试、内网使用
虚拟机 VirtualBox + Ubuntu 0元 学习练手

关键点:如果你用云服务器,地域选择建议海外节点(比如新加坡、美西),因为拉取 Docker 镜像和 HuggingFace 模型时会快很多。国内节点也能跑,就是第一次启动要等久一点。

软件清单(三步装完)

bash

# 1. 装 Docker(一条命令搞定) curl -fsSL https://get.docker.com | bash # 2. 装 Docker Compose 插件(新版 Docker 自带) docker compose version   # 有输出说明已安装 # 3. 验证安装 docker --version   # 应该显示 Docker version 24+  

如果你用的是 Mac,直接去官网下载 Docker Desktop 安装包,双击就能装好。

二、部署:一条命令跑起来

官方提供了一键部署脚本,但我不推荐直接用------因为默认配置把 OpenAI 写死了,国内用不了。下面是自己动手的稳妥方案。

第一步:拉代码

bash

git clone https://github.com/labring/FastGPT.git cd FastGPT # 切到最新稳定版(2026年3月实测版本号是 v4.14.7) git checkout v4.14.7 

第二步:进部署目录

bash

cd deploy/docker/cn   # 注意是 cn 目录,里面配置了国内镜像源 

这个 cn 目录很贴心,里面的镜像地址都换成了阿里云国内加速的,下载速度快很多。

第三步:下载配置文件

bash

# 下载主配置 wget https://doc.fastgpt.cn/deploy/config/config.json 

第四步:选择数据库版本,一键启动

新手别纠结,直接选 PgVector 版本

bash

docker-compose -f docker-compose.pg.yml up -d 

为什么选 PgVector?

数据库方案 适用场景 新手友好度
PgVector 知识库索引 < 5000 万条 :star::star::star::star::star: 默认首选
Milvus 亿级以上向量 :star::star: 配置复杂
OceanBase 国产化信创需求 :star::star: 企业级

第五步:等…

执行后会开始拉取镜像,大概 5-10 分钟(取决于你的网络)。可以用这个命令看进度:

bash

docker compose -f docker-compose.pg.yml logs -f 

看到类似这样的日志,说明一切正常:

text

fastgpt  | [Nest] 1  - INFO  Server running on http://localhost:3000 

第六步:访问

浏览器打开 http://你的服务器IP:3000

  • 默认账号root

  • 默认密码1234

进去之后第一时间修改密码!不然你的知识库对全世界开放。

三、配置模型:选哪个?怎么配?

跑起来了,但还没法用------因为没有配置大模型。FastGPT 需要两种模型:

  • 对话模型(LLM):负责回答问题、生成内容

  • 向量模型(Embedding):负责把文本转换成向量,供检索用

小白方案(推荐):直接用云端 API

不想折腾的,直接去注册个 DeepSeek百度千帆,拿 API Key 填进去就行。

在 FastGPT 后台的操作路径:账号 → 模型提供商 → 添加模型

  • 模型类型选「对话模型」

  • 填 API Key 和 Base URL

这是最快的方式,成本极低(DeepSeek 几乎是免费的)。

进阶方案:本地跑私有模型

如果你有 GPU 或者单纯不想依赖外部 API,可以本地跑私有模型。

组合推荐:ChatGLM2-6B(对话) + M3E-Large(向量)

这是目前社区验证最成熟的私有化组合。

用 Docker 一条命令跑向量模型:

bash

docker run -d \   --name m3e-api \   -p 6008:6008 \   registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 

等几分钟让模型加载完(首次会下载模型文件,约 2GB)。

对话模型可以用 ChatGLM2-6B:

bash

docker run -d \   --name chatglm2-api \   -p 6006:6006 \   registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2:latest 

然后去 FastGPT 的 config.json 里配置这两个模型地址:

json

{   "llmModels": [{     "model": "chatglm2",     "name": "ChatGLM2",     "apiUrl": "http://localhost:6006/v1",     "apiKey": "sk-xxx"   }],   "vectorModels": [{     "model": "m3e",     "name": "M3E",     "apiUrl": "http://localhost:6008/v1",     "apiKey": "sk-xxx"   }] } 

重启 FastGPT 使配置生效:

bash

docker-compose -f docker-compose.pg.yml restart 

:warning: 踩坑提醒:一旦创建知识库时选定了向量模型,就不能再修改了,换模型要重建知识库。

四、建知识库:把文档喂给 AI

模型配置好了,现在开始搭建你的专属知识库。

建一个知识库

FastGPT 后台左侧导航 → 知识库新建

填写名称(比如「公司产品手册」或「个人读书笔记」),模型选择你上面配好的向量模型(比如 M3E)。

导入文档:三种常用方式

方式 操作 适用场景
直接上传 拖拽 PDF/Word/TXT 进去 快速测试、少量文档
手动录入 自己写 Q&A 对 需要精准控制的内容
API 导入 通过接口批量拉取 已有文档库对接

新手直接拖文件就行,支持 PDF、Word、Markdown、TXT、HTML、CSV 等常见格式。

数据预处理的小技巧

上传后系统会自动做切片(Chunking)。默认按 1500 字符一段切分。如果你的文档段落分明,可以手动调小这个值。

一个经验:技术文档、操作手册适合小切片(500-800 字符);长文章、书籍适合大切片(1500-2000 字符)。多试几次找到最优值。

导入完成后,可以在知识库里搜索测试。输入一个关键词,看看能不能召回相关内容。如果召回质量差,可能是相似度阈值设置有问题,去应用设置里调低「最低相关度」试试。

五、创建应用:跟你的知识库对话

知识库里已经有数据了,现在把它变成一个可以聊天的应用。

新建应用

后台左侧 → 应用新建

选「知识库 + 对话引导」模板,这个最常用。

绑定知识库

在应用设置里找到「知识库」选项,勾选你刚才建的那个。

一个坑:应用只能绑定使用了同一个向量模型的知识库,不同模型不能混用。

调试相似度

这是决定问答质量最关键的一步。

在应用设置里找到「检索配置」,有个「最低相关度」滑块。默认 0.6-0.7。

  • 调太低(如 0.4):召回内容多但可能不相关,AI 容易胡说

  • 调太高(如 0.9):召回精准但可能漏掉相关内容,导致答不出

建议:先用默认值试,根据实际问答效果慢慢调整。

测试

在对话框里问一个知识库里有的问题,看 AI 回答得怎么样。

如果答非所问,大概率是分块策略或相似度没调好,回去微调一下。

六、一些你可能遇到的坑(附解决方案)

坑1:容器启动不起来,报端口占用

text

Error: listen tcp4 0.0.0.0:3000: bind: address already in use 

解法:换个端口就行。改 docker-compose.pg.yml 文件,把 3000:3000 改成 3001:3000(左边是宿主机端口,可以随便换),然后重启。

坑2:镜像拉不动,卡在 Pulling

解法:检查你用的是不是 deploy/docker/cn 目录,里面的镜像地址是阿里云加速的。如果还慢,去阿里云免费申请个容器镜像加速器,配到 Docker 里。

坑3:导入文档后搜索没结果

解法:检查相似度阈值是不是太高了。先去应用设置里把「最低相关度」降到 0.3 左右,再搜一次。如果有结果了,说明阈值太高,慢慢往上调。另外检查一下文档语言------如果你用的是英文向量模型,搜中文内容肯定不行。

坑4:问答效果差,AI 胡编乱造

解法:通常是分块策略问题。去知识库里看下文档分块情况------如果一块内容太长或太短,调整切片参数重新导入。另外确认一下 Prompt 里有没有加限制,比如「如果知识库中没有相关信息,请说不知道,不要自己编造」。

写在最后

走到这一步,你的专属 AI 知识库已经跑起来了。

回顾一下我们做了啥:部署 FastGPT、配置模型、导入文档、创建应用。整个过程除了等镜像下载,真正动手的时间不到 10 分钟。

接下来你可以:

  1. 把公司内部文档全部喂进去,给团队做个 7x24 小时的 AI 助手

  2. 把你读过的书、看过的文章做成个人第二大脑

  3. 用它来学新东西------把教程喂进去,不会的直接问

私有化部署最大的价值不是省钱,是数据主权。你所有的文档、所有的对话记录,都在你自己的服务器上,谁也拿不走。

最新回复
  • Halcyon UID:114 一级用户组

    这个可以,收藏了

    1月前
  • invites UID:116 一级用户组 作者

    有问题可以像我提问

    1月前

请先登录后再回复 登录

uid:116 一级用户组
关注
发帖 1
评论 1
粉丝 0
关注 0
发新帖
目录
告别繁琐配置!从零到一,手把手带你用 Docker 私有化部署 FastGPT,打造专属 AI 知识库