- WildFox3903小时前⭐️ 新访客6875
今天商汤开源了 SenseNova Loop 9B 正式版,能看图、写代码、分析数据并配合工具完成复杂任务,同时更容易部署在自己设备上,9B 的权重就能白嫖 27B 的推理能力
官方做了一个很有意思的实验:保持 9B 权重不变,把训练和推理的循环次数从 1 次加到 3~4 次,LiveCodeBench V6 和办公数据分析任务的分数还能继续涨 6.4% ~ 16.9%
虽然为了兼顾推理速度默认设了 2 次循环,但后续如果搞出按任务难度自动分配循环次数的 Dynamic Loop,端侧和小显卡跑强推理就更有戏了
因为是国产模型,所以除了英伟达的卡之外,国产的 GPU 也能适配:如寒武纪、摩尔、海光、沐曦、天数等
链接:
GitHub: https://github.com/OpenSenseNova/SenseNova-Loop
HuggingFace: https://huggingface.co/sensenova/SenseNova-Loop-9B
先看几个效果:
漂亮网页的制作:《海岸线以外》摄影杂志式的网页
《字形接力 TYPE RELAY》动态字体交互网站:
《失真频率 DISTORTION FM》音乐节动态海报网页
3D 网页:《仙家集市》(Three.js)
为啥这个模型叫 loop 呢?
普通模型可以理解为:一道题沿着流水线走一遍,逐层处理。
SenseNova Loop 则是:先经过开头的 4 层。
经过中间的 24 层。
拿着刚才处理后的结果,再经过同一组 24 层。
最后经过结尾的 4 层,输出结果
模型架构图:
主要的亮点是:
共享循环模块(物理 32 层 -> 实际计算 56 层):模型物理上只有 32 层解码器(只需加载约 9B 的 BF16 权重),但它在前向传播时,把中间的第 4~27 层(共 24 层)循环执行了 2 遍。算下来一次前向传播走了 4 + 242 + 4 = 56 层,推理等效参数规模直接拉到了 14.6B
双流 mHC(流形约束超连接):单纯把层循环跑两遍很容易特征退化。它引入了双残差流设计,通过可学习的路由映射(20 次 Sinkhorn 归一化迭代)在两条残差流之间动态混合信息,每次循环前先读流、算完再写回
混合注意力 + 512K 超长上下文:每 4 层为一组(3 层线性注意力 + 1 层全注意力),兼顾了循环对齐和长文本效率,原生支持图文输入和 512K tokens 上下文
Benchmark:
在 Agent 和代码榜单上,正式版相比 Preview 提升非常猛,直接和 Qwen3.8-27B 掰手腕:
NL2Repo(代码仓库生成):拿到 45.68,反超了 Qwen3.8-27B 的 44.60
GAIA(通用 Agent):达到 69.90(Preview 只有 37.86),略超 Qwen3.8-27B 的 66.99
BIRD & AIDABench(数据分析/SQL):分别达到 72.34 和 62.46~65.31,基本追平甚至微超 27B 级别模型





主楼 这个循环机制具体是怎么计算两次的?每次循环都会重新加载权重吗?
- SwiftNova813小时前⭐️ 新访客5700
试试用
transformers库加载这个模型时,需要设置loop_num=3参数来启用最大循环次数提升推理能力。 - HiddenFox3102小时前⭐️ 新访客6281
这种循环设计会不会增加推理延迟,对实时应用场景不太友好啊?
我实习时试过类似的循环推理,确实能提升效果,但推理时间增加不少。
- AmberMesh9942小时前⭐️ 新访客6615
这模型循环设计很聪明,用共享参数模拟更深层网络,还能适配国产GPU,实测效果确实强。