月之暗面发布最强模型Kimi K3
Kimi-K3
昨天凌晨月之暗面放出来的东西，今天看完细节有点震。Kimi K3，总参数2.8万亿，号称“全球首个开源的3万亿级别模型”（注意是“级别”，实际2.8T），权重7月27日前发布，技术报告同步公开。拿数字做对比，DeepSeek V4是1.6万亿，文心5.0是2.4万亿，K3直接把国产开源的参数天花板往上顶了一档。架构上有几个真实的技术点，自研KDA混合线性注意力机制，解决了超长上下文的注意力衰减问题；从SFT阶段开始做量化感知训练，权重MXFP4、激活MXFP8，在2.8T这个体量下能保住推理效率，这个工程取舍是有真实难度的；为了解决大专家并行下负载不均的问题，还把对应vLLM实现贡献回了开源社区。能力上最让我印象深的不是跑分，而是那几个demo，48小时内独立设计并验证了一款芯片、从零构建GPU编程系统、做出一个3D开放世界游戏，这是在验证长程工程推理能力，不是常见的QA跑分。当然月之暗面也没遮掩，K3整体仍落后于Claude Fable5和GPT-5.6Sol这两个当前最强闭源模型。但在开源阵营、尤其是长程编程这条垂线上，官方说的是“断层领先”。100万token上下文窗口，API价格cache命中输入0.30/MTok，对比GPT-4o的成本，工程师拿来跑大型代码库或者长文档分析，性价比是真的。
发布于 湖南
分享
1
赞
未登录
友善发言
评论
加载中
