GPT-6即将发布，你最期待哪些优化？
200万Token上下文，RAG要失业了？GPT-6最让我心动的，是那个200万Token的上下文窗口。什么概念？150万个英文单词，相当于一口气塞进去十几本长篇小说、一整套代码库、一年的业务邮件。以前做RAG（检索增强生成）有多痛苦？文档先切片、Embedding、存向量库、检索Top-K、拼Prompt、再推理——一套流程下来，链路长、召回还经常不准。GPT-6直接把200万Token以内的文档全丢进去就行。当然，坑也有。200万Token单次请求的延迟和成本都不低。而且“Lost in the Middle”问题还在——模型对中间部分的内容容易“失忆”。所以不是所有场景都适合全量塞，但至少多了一个“简单粗暴但有效”的选项。不过话说回来——当上下文足够大的时候，我们还需要RAG吗？还是说RAG要变成“上一代技术”了？
发布于 北京
分享
1
1
未登录
友善发言
评论
加载中
