搭建本地 AI 知识库完整教程

把个人文档、技术资料变成可对话的智能知识库，数据全在自己手里

一、为什么需要本地 AI 知识库？

你一定遇到过这样的情况：文档存了一堆，真要找某个信息时翻半天找不到；或者想问个问题，又不想每次都要联网去问 ChatGPT，更不想把自己的文档上传到云端。

本地 AI 知识库就是为了解决这个问题------把大模型部署在自己的电脑上，把文档存在自己的硬盘里，通过 RAG（检索增强生成）技术，实现类似"与你的文档对话"的效果。

核心优势：

二、整体架构：三大组件协同工作

搭建本地知识库，需要三个核心组件配合：

工作原理：

1. 你把 PDF、Word、TXT 等文档上传到 AnythingLLM

2. 系统用嵌入模型把文档转换成向量，存入本地向量数据库

3. 当你提问时，系统先用向量检索找到相关文档片段

4. 再把"问题 + 相关文档"一起发给大模型，生成基于你文档的回答

简单说：AnythingLLM 是图形化界面 + 知识库管理器，Ollama 是大模型运行环境。两者配合，你只需要点鼠标就能完成全部操作。

三、准备工作：硬件要求和软件下载

3.1 硬件配置建议

没有独立显卡也能跑，只是推理速度会慢一些。16GB 内存 + CPU 模式足够日常使用。

3.2 下载所需软件

第一步：安装 Ollama（大模型运行环境）

访问 Ollama 官网，下载对应系统的安装包：

• Windows：下载 .exe 安装包

• macOS：下载 .dmg 安装包

• Linux：执行 curl -fsSL https://ollama.ai/install.sh | sh

安装完成后，打开终端/命令提示符，输入以下命令验证：

bash

ollama --version 

看到版本号说明安装成功。

第二步：下载 AnythingLLM（知识库桌面端）

访问 AnythingLLM 官网，下载桌面版：

• Windows：下载 .exe 安装包

• macOS：下载 .dmg 安装包

• Linux：下载 .AppImage 文件

安装时选择 “仅为我安装”（Current User），不要选"为所有人安装"，否则可能遇到权限问题。

四、部署步骤（10分钟完成）

4.1 启动 Ollama 并下载模型

第一步：启动 Ollama 服务

安装完成后，Ollama 通常会自动在后台运行。可以在终端输入以下命令确认：

bash

ollama serve 

如果提示"服务已运行"，说明正常。

第二步：下载 DeepSeek-R1 模型

在终端执行：

bash

ollama run deepseek-r1:7b 

这是第一次运行，系统会自动下载模型文件（约 4GB，取决于网络速度）。下载完成后会自动进入对话模式，输入 /bye 退出。

模型选择建议：

4.2 配置 AnythingLLM

第一步：启动 AnythingLLM

安装完成后，双击桌面图标启动。首次启动可能需要 1-2 分钟。

第二步：选择大模型

进入设置页面（左下角齿轮图标），找到 LLM 首选项：

点击 Save changes 保存。

第三步：配置嵌入模型（可选）

AnythingLLM 内置了嵌入模型，无需额外配置。如果你想用更专业的中文嵌入模型，可以在设置中切换到 Ollama 作为嵌入提供商，然后选择一个 Embedding 模型（如 nomic-embed-text）。不过内置的已经够用了。

4.3 创建第一个知识库

第一步：创建工作区

点击 AnythingLLM 左侧的 “新建工作区”（New Workspace），给工作区起个名字，比如"我的技术文档库"。

第二步：上传文档

进入工作区后，找到 “文档” 或 “上传” 区域，可以通过以下方式添加知识：

• 本地文件：直接拖拽 PDF、Word、TXT、Markdown 等文件进去

• 网页链接：输入网址，自动抓取网页内容

• 纯文本：直接粘贴文字

建议先把几个测试文档（比如"产品说明书.pdf"）传上去试试效果。

第三步：将文档添加到知识库

上传后，文档会出现在"文档列表"中。需要点击文档旁边的 “添加到工作区” 按钮，系统才会开始处理这些文档（解析、分块、向量化）。

处理完成后，文档旁边会出现绿色的"已就绪"标记。

4.4 开始对话

现在，你可以在工作区的聊天框中输入问题。

AnythingLLM 提供两种对话模式：

点击聊天框上方的按钮可以切换模式。

测试示例：

1. 上传一份你的产品说明书

2. 切换到"查询模式"

3. 问：这个产品的主要功能是什么？

4. 看看回答是否来自文档内容

五、进阶用法

5.1 接入 Chatbox 或 Open WebUI

AnythingLLM 本身已经很完善，但如果你想要更专业的聊天界面，可以另外安装 Chatbox 或 Open WebUI，然后连接同一个 Ollama 后端。

Chatbox 配置方法：

1. 下载安装 Chatbox

2. 设置 → API 配置 → 选择"Ollama API"

3. API 地址填写：http://127.0.0.1:11434

4. 选择模型 deepseek-r1:7b

5.2 添加更多模型

Ollama 支持大量开源模型，可以按需下载：

bash

# 下载 Qwen（通义千问）中文模型 ollama run qwen2:7b # 下载 Llama 3 ollama run llama3:8b # 下载小型快速模型 ollama run phi3:3.8b 

在 AnythingLLM 的设置中切换模型即可。

5.3 调整检索参数

在 AnythingLLM 的高级设置中，可以调整：

• Top-K：每次检索返回的相关文档数量（默认 4，可调高获取更多上下文）

• 相似度阈值：低于此值的文档不会被采纳

• 分块大小（Chunk Size）：文档被切分的大小，技术文档建议 300-500 字

六、常见问题

Q1：AnythingLLM 连不上 Ollama？

• 确认 Ollama 服务在运行：终端执行 ollama serve

• 确认 AnythingLLM 中的 API 地址是 http://localhost:11434

• 如果 Ollama 和 AnythingLLM 都正常，重启两个应用

Q2：回答质量不好？

可能的原因及解决方法：

• 文档分块问题：在设置中调整分块大小（Chunk Size），建议 300-500 字

• 检索不准确：调整 Top-K 值（比如从 4 调到 8）

• 模型能力不足：换更大的模型（如 deepseek-r1:8b 或 qwen2:7b）

Q3：跑起来很慢？

• 检查是否在用 CPU 模式（有 GPU 的话确认驱动已安装）

• 换小一点的模型（如 deepseek-r1:1.5b）

• 关闭其他占用内存的应用

Q4：AnythingLLM 提示 GPU 支持安装失败？

这是桌面版内置 Ollama 的常见问题。最简单的解决方案是：

1. 忽略这个警告

2. 单独安装 Ollama 桌面版

3. 在 AnythingLLM 设置中连接到本地 Ollama（而不是使用内置版本）

七、方案对比：还有其他选择吗？

本方案优势：AnythingLLM 是"开箱即用"的代表------不需要写代码，不需要配置数据库，下载、安装、上传文档三步完成。

八、总结

回顾一下今天的操作：

你得到的结果：一个运行在你自己电脑上的 AI 知识库，可以基于你的文档回答问题，数据完全本地存储，无需联网，永久免费。