GPT-6即将发布，你最期待哪些优化？
GPT-6的MoE架构——参数多但不全用，这才是效率GPT-6最让我期待的不是参数多，而是“怎么用”这些参数。据说它采用了MoE（混合专家）架构，总参数量5到6万亿，但每次推理只激活大概10%——差不多5000到6000亿。什么意思呢？就是模型像个大公司，各个部门各司其职，遇到什么问题就派对应部门的人去处理，不用每次都全员出动。这样一来，性能上去了，算力成本却没跟着疯涨。对我们开发者来说，调用成本控制住了，体验还更好——这不比单纯堆参数实在多了？
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
