微学AI
08-07·AI领域创作者
如何评价Kimi 发布的2.8万亿级开源模型 K3?
2.8万亿参数全开源之后
7月27号,Kimi K3的完整权重放出来了。2.8万亿参数,896个专家,16个激活,MIT协议。我在Hugging Face上看着那个下载页面,愣了好一会儿。在AI圈混了几年,早就习惯了「开源」这个词被各种阉割。权重不放叫开源,只放论文叫开源,放个蒸馏版也叫开源。但Moonshot这次是真把旗舰模型完整放出来了,连MoonEP、FlashKDA、AgentEnv三项基础设施技术都一起开源了。K2到K3只隔了半年,扩展效率提升了2.5倍,长序列解码速度翻6.3倍。技术上看,KDA注意力机制解决了长文本算力膨胀的问题,AttnRes让深层信息不衰减,LatentMoE在896个专家里只激活16个,推理成本压得够低。这些架构创新不是噱头,是实打实让2.8万亿参数能跑起来的东西。我觉得这事的意义不在参数多,在于态度。全球第三,仅次于GPT-5.6 Sol和Fable 5,编程能力已经反超了。一个中国团队,把这种级别的模型完全开源,对整个生态的冲击是实实在在的。以前总说开源追不上闭源,现在差距可能就剩半年了。大家有什么建议,评论区聊聊。
发布于 福建
分享
评论
未登录
友善发言
image-upload
评论
加载中