- WildLynx492小时前⭐️ 新访客7511
项目地址:https://github.com/jing-ying-dev/whale-ying-memory
大家好,我今年 21 岁,是一本中医学大三学生,没有计算机或 AI 专业背景。2026 年 10 月 14 日开始研究 API,10 月 22 日转向 Agent 长期记忆,11 月 18–19 日跑出了现在这组结果。
项目叫 WhaleYing Memory,Apache-2.0 开源。Whale 一方面来自 DeepSeek 的鲸鱼形象,一方面是“深海记忆”的意象;Ying 是我的名字。
我想解决的不是单纯“从文本块里搜相似内容”,而是三个更具体的问题:
同一事实出现多个版本时,Agent 能不能知道哪个已经被取代;
长上下文里,能不能避免检索到旧值;
一个答案需要串联多个事实时,能不能逐跳找齐证据再回答。
全部开发、抽取、检索和测评都在一台无独显轻薄本上完成:Windows 11、i5-13420H、16GB 内存。
先放结果
指标是 MemoryAgentBench Conflict_Resolution 的 substring exact match,不是 LLM judge;这些 MemoryAgentBench 跑次的作答 temperature 为 0.7。
单跳(FactConsolidation-SH)
262k:93.2%(gpt-4o-mini,5 次均值)——论文基线 GPT-4o 60 BM25 56 gpt-4o-mini 45
262k:93.0%(DeepSeek,关思考,单次)
262k:92.0%(本地 Qwen2.5-Coder 7B,单次)
6k:98%(DeepSeek,关思考,单次)
多跳(FactConsolidation-MH)
262k:48.3%(DeepSeek,关思考,3 次均值)——CAR 对照 BM25 3 HippoRAG-v2 5 Mem0 2 MemGPT 3 CAR(gpt-4o) 41
262k:25.3%(gpt-4o-mini,3 次均值)——CAR(gpt-4o-mini) 27
6k:66% substring / 65% exact(DeepSeek,关思考,单次)
这里最值得注意的是:单跳换三个作答模型都在 92%–93%,但多跳换作答模型会从 25.3% 变成 48.3%。我的判断是,单跳的主要瓶颈在“记忆有没有找对”,多跳还额外依赖作答模型组合证据的能力。
和直接读全文对照
同为 262k:
单跳:DeepSeek 直接读全文 64% → WhaleYing + gpt-4o-mini 93.2%,+29pp;
多跳:DeepSeek 直接读全文 5.3% → WhaleYing + DeepSeek 48.3%,+43pp。
这也是我认为记忆系统在长上下文里不只是省 token 的原因:它把版本关系和证据链显式整理出来了。
系统怎么做
整个流程是:抽取 → 冲突消解 → 检索 → 作答。
1 . 抽取成四表
LLM 将长文或对话转换为四类结构化记录:
facts:断言,例如“X 是 Y”;
cards:事件,即发生了什么;
metrics:带数值和单位的指标;
identities:实体身份。
抽取后有确定性校验,引文必须是原文子串。给不出原文依据的记录不能直接混进最终数据。
2 . 用 supersession 处理新旧版本
同一主体出现多个版本时,系统按序号建立取代关系,旧值用 invalidated_at 标记;fold 时保留最新版本。
普通 RAG 更像是“搜到哪些块就拼哪些块”,这里额外记录“谁取代了谁”。这是 Conflict_Resolution 分数的核心来源。
3 . 混合检索
检索组合多字段 BM25、all-MiniLM-L6-v2 向量和 RRF。整库向量只构建一次并缓存,在测得的缓存实验中,检索提速约 1,340。
4 . 多跳迭代
多跳问题采用 Self-Ask 式流程:拆成单跳子问题,逐跳检索、拼出证据链,再生成最终答案。通过 WHALE_YING_ITERATIVE=1 开启,默认是单跳路径。
LoCoMo:当前边界
我也跑了 LoCoMo 官方 F1 字符串匹配,共 1,986 题,DeepSeek 作答,temperature=0、关思考:
多跳(282 题):无折叠 19.9% / 完全配置 20.4%
单跳(321 题):28.3% / 30.1%
时间(96 题):13.9% / 15.3%
开放域(841 题):43.9% / 38.9%
对抗/弃权(446 题):53.4% / 50.4%
总体 F1(1,986 题):38.6%(无折叠)/ 36.3%(完全配置)
这个结果说明当前 fold 有很明确的任务边界:它为“现在是什么”保留最新值,但 LoCoMo 经常问“过去发生过什么”。把旧版本折掉,对这类时间型问题会反扣分,所以无折叠总体更高。
时间类只有 13.9%–15.3%,相对时间解析是当前最弱的一环。下一步不是隐藏它,而是做“按问题选择当前状态或历史状态”,同时加强时间归一化。
实际成本与速度
一次 262k 完整测评中:
抽取:1.1M 字符 → 67 块 → 870 片,DeepSeek-flash 8 并发约 11.5 分钟;
作答:100 题单跳约 4 分钟;100 题多跳约 15–25 分钟;
输入 token:抽取约 300 万;100 题作答约 70 万。
从开始研究 API 到 2026 年 11 月 20 日,DeepSeek 开放平台累计支出 2,130.69,共 130,562 次请求。这个数字包括大量开发和迭代,不是单次 benchmark 的价格。
接下来想做什么
历史状态检索:根据问题决定“取最新”还是“回看旧版本”;
更强的时间解析:补上 LoCoMo 暴露出的相对时间短板;
让本地小模型也能有高水平记忆:系统负责抽取、折叠和检索,小模型依据证据回答;
高隐私部署:一台本地服务器负责抽取,多个低配置端负责检索和作答;
更易复现和接入:继续整理独立 API、评测脚本和文档。
我开源它不是因为已经做完,而是希望把已经投入的东西换成继续开发所需的算力、协作和反馈。
如果你在做 Agent、RAG、长期记忆、冲突消解或多跳检索,欢迎直接看代码和原始结果,也欢迎指出设计问题。
基线来源:
MemoryAgentBench(单跳):https://arxiv.org/abs/2507.05257
CAR(多跳):https://arxiv.org/abs/2606.01435
LoCoMo:ACL 2024。
主楼