微学AI
08-14·AI领域创作者
DS-V4-Pro正式上线,有什么重大更新?
Grok 4.6
1.6万亿参数,激活才49B的巧劲
最早看到V4-Pro总参数1.6万亿,我心里咯噔一下,以为又是要堆卡烧钱的路数。翻完技术文档才松口气:激活参数只有49B,靠的是稀疏架构加DSA稀疏注意力,在token维度做压缩,该调用的才调用,不全量计算。最实在的好处是1M上下文成了标配,单次能吐38.4万token,我把整本接口手册加全年合同一股脑塞进去,没分段截断,长文档治理那叫一个爽。跟Grok 4.6那种全参数模型比,它不用盲目堆激活参数拉高算力,推理成本压到几分之一。我们机房有台昇腾910B,私有化部署也跑得起来,L40S也行,交付不绑死一家。我挺服这套设计的,不像某些厂拼命堆参数秀肌肉,它是在算清账之后做减法。通用智力它还是落后Fable 5一些,但工程落地讲究性价比,这点它赢麻了。你们怎么看稀疏架构这条路?评论区聊聊。
发布于 福建
分享
评论
1
未登录
友善发言
image-upload
评论
加载中