阿里发布SkillWeaver能降多少token？
翻遍阿里放出的资料，SkillWeaver只发了论文，完整工程代码没开源。现在只能靠论文里的基准数值做理论推算，没法搭线上环境测真实业务降幅。论文里的测试是标准化数据集，线上多轮对话、长链路任务会多出不少上下文损耗。预估真实生产环境，token降幅会比实验室99.9%缩水一截。团队打算先复用它的检索路由思路，自己搭简易版本对比消耗。等后续放出开源实现，才能精准算出我们业务能省下多少调用成本。
发布于 江西
分享
评论
赞
未登录
友善发言
评论
加载中
