阿里发布SkillWeaver能降多少token？
这周算法团队报Agent算力预算，全公司都在聊阿里刚出的SkillWeaver。论文基准测2209个工具库，传统方案要把全部工具描述塞进上下文，单次88万多token，接入框架后只剩1160左右，理论直接省99.9%开销。以前做多工具自动化Agent，工具库一多月度token账单直接翻倍，现在不用全量加载工具，只向量检索匹配少量相关技能，向量检索阶段还不消耗大模型token。但内审沟通发现有现实折损，内部业务工具零散、命名不规范时，检索命中率下降，要多轮SAD迭代微调，会小幅拉高token；而且框架还没开源，自研业务系统对接要额外投入人力适配。如果公司工具库规模很大，长期落地SkillWeaver，整体算力预算真能压下去一大截吗？
发布于 湖北
分享
评论
3
未登录
友善发言
评论
加载中
