GPT-6即将发布，你最期待哪些优化？
GPT-6据说参数达到10万亿，是GPT-4的5倍多。数字确实吓人，但咱们做技术的都懂，参数多不等于智商高。真正值得关注的是这次换了路子——GPT-6用的是MoE架构，也就是“混合专家”。啥意思？总共有5到6万亿参数，但每次推理只激活其中的10%左右。就像一个大公司，虽然几万人，但干具体活的时候只调用相关的那几个部门，不用全员出动。这么做的好处是：能力上去了，成本没跟着疯涨。另外上下文窗口干到了200万Token，是GPT-5.4的两倍。这意味着你可以把一整本小说甩给它，它还能记住前后逻辑。不过话说回来，参数翻五倍、成本据说超20亿美元，这钱最终谁出？API涨价恐怕跑不了。
发布于 北京
分享
评论
1
未登录
友善发言
评论
加载中
