- SwiftLynx5939小时前⭐️ 新访客7743
DeepSeek-V4.1-Flash Lossless 单台 M5 Ultra 512G 上下文阶梯测试(512 到 1M)
2026-11-22 实测。表格格式照 r/LocalLLM 帖子里的 "1 Mac Studio (M5 Ultra, 512 GB)" ,在它 256K 的基础上补了 512K 和 1M 两行。
原始模型 DeepSeek-V4.1-Flash-1017-MLX-Serve-Lossless https://huggingface.co/ddalcu/DeepSeek-V4.1-Flash-1017-MLX-Serve-Lossless
服务端 MLX-SERVE https://mlxserve.com/
1 Mac Studio (M5 Ultra, 512 GB)
上下文
提示 token
生成(tok/s)
生成范围(tok/s)
prefill(tok/s)
首 token(秒)512
512
71.7
68.2–75.8
1,388
0.371k
1,024
73.8
67.6–76.0
2,023
0.512k
2,048
68.7
67.8–73.0
2,735
0.754k
4,096
70.8
58.7–71.1
3,303
1.248k
8,192
69.8
68.9–80.2
3,831
2.1416k
16,384
72.9
71.4–73.7
4,109
4.0032k
32,768
69.8
69.1–77.4
4,208
7.8064k
65,536
66.9
62.5–67.6
4,155
15.79128k
131,072
65.6
56.6–74.6
3,926
33.42256k
262,144
64.0
63.9–65.1
3,475
75.49512k
524,288
64.2
56.7–71.6
2,755
190.441M
1,048,064
65.2
61.9–68.5
1,890
554.881M 行的提示是 1,048,576 − 512 = 1,048,064 token。模型窗口是 1,048,576,要给最多 512 个生成 token 留出位置。
生成、prefill、首 token 都取中位数。生成范围是各次 decode 速度的最低到最高。512K 和 1M 各跑 2 次,其余各 3 次。
prefill 速度来自服务端日志。首 token 时间在客户端测,从发出请求到收到第一个 token。
结论
decode 几乎不随上下文变慢。 从 512 到 1M,中位数都在 64–74 tok/s 之间,1M 是 65.2,和 256K 的 64.0 相当。
prefill 在 32K 最快(4,208 tok/s),之后逐步下降。 256K 为 3,475,512K 为 2,755,1M 为 1,890,只有峰值的 45%。
1M 冷启动的首 token 要 9.2 分钟(553.8 秒和 555.9 秒)。比《M5U 单机运行 DeepSeek-V4.1-Flash 最佳方案》里外推的 5.5–7.5 分钟更长。512K 是 3.2 分钟。
长上下文下内存很宽裕。 全程最高占用 327.8 GB,权重本身 309.4 GB。没有用到 swap。服务端日志记录的 1M 会话状态是 3,947 MB,512K 是 1,620 MB。
prefill 每次之间的差别很小。 512 和 1K 约 1.6%,其余都在 1% 以内(2K 到 1M)。生成速度每次差别较大,因为 DSpark 和 PLD 草拟的命中率取决于生成的内容。
和 Reddit 帖子对比(512 到 256K)
上下文
prefill:本机 / 帖子
差别
首 token:本机 / 帖子(秒)
生成:本机 / 帖子(tok/s)512
1,388 / 1,545
-10.2%
0.37 / 0.33
71.7 / 86.31k
2,023 / 2,089
-3.2%
0.51 / 0.49
73.8 / 63.52k
2,735 / 2,580
+6.0%
0.75 / 0.79
68.7 / 54.14k
3,303 / 2,971
+11.2%
1.24 / 1.38
70.8 / 55.58k
3,831 / 3,210
+19.3%
2.14 / 2.55
69.8 / 89.016k
4,109 / 3,746
+9.7%
4.00 / 4.37
72.9 / 66.532k
4,208 / 3,956
+6.4%
7.80 / 8.28
69.8 / 58.664k
4,155 / 3,969
+4.7%
15.79 / 16.51
66.9 / 55.4128k
3,926 / 3,727
+5.3%
33.42 / 35.17
65.6 / 61.7256k
3,475 / 3,220
+7.9%
75.49 / 81.41
64.0 / 50.7prefill: 2K 及以上快 5–19%。512 和 1K 慢 3–10%,这两档的首 token 只差 0.02–0.04 秒。帖子用的是 26.11.2,本机是 26.11.3。
生成速度: 不能直接对比。帖子没有给出提示内容,而 DSpark 和 PLD 的加速幅度取决于输出内容。帖子的数字在 50.7–89.0 之间来回跳,本机稳定在 64–74。
256K: 本机这轮是 3,475 tok/s。11-20 那次首轮 256K 是 2,996,当时推测是 Engram 冷读。这一轮的 256K 排在多次短测之后才跑,可能和那次的差别有关,没有验证。
测试环境
项目
设置机器
Mac Studio M5 Ultra 512 GB(Mac17,15),macOS 27.2.1模型
DeepSeek-V4.1-Flash-1017-MLX-Serve-Lossless,常驻 288.17 GB,上下文 1,048,576引擎
MLX-Serve.app 26.11.3(MLX 0.32.5),输出头稠密(日志显示 lm head dense, as shipped),没有设置 MLX_SERVE_DSV41_EXACT服务参数
--dspark --pld --pld-draft-len 5 --mtp-max-depth 5 --no-w8a8 --timeout 1800 --prefix-cache-mem 40GB --prefix-cache-disk off,默认 --max-concurrent 1,kv_quant off,prefill_chunk 8192GPU 内存上限
iogpu.wired_limit_mb=0,mlx-serve 设为 491,520 MB请求
一次一个,greedy(temperature 0),关思考,max_tokens 512;每次实际生成 248–512 个 token提示内容
Zig 编译器源码(ziglang/zig 主干,按文件路径排序后拼接),末尾问 "In about 300 words, describe what the first file does and list three functions it defines."精确 token 数
用服务端 /tokenize 二分裁剪源码,让服务端报告的提示 token 数(含 4 个 chat 模板 token)正好等于目标值;36 次请求全部命中冷启动
每个提示前加随机串;服务端日志核对过,36 次请求的缓存命中都是 0顺序
先预热 1 次,然后从 512 到 1M 依次跑完,全程约 36 分钟(19:01–19:37)主楼