周鸿祎：盲目消耗Token抬高企业成本
周鸿祎最近说了句大实话：盲目消耗Token会抬高企业AI成本。你以为上了AI就是降本增效？先看看账单再说话。第一，知识库全量投喂是最常见的烧钱姿势。 很多企业把数十年的合同、会议纪要、技术方案一股脑扔进大模型上下文，不做分片、不去重、不检索。一次简单咨询就把全部文档传进去，单次Token瞬间拉满。实际只需要TopK召回三五段高匹配文档就能精准回答。某中型企业上线半年，月度Token费用突破数十万，复盘发现超过七成消耗来自无关冗余文档的无效传输。省了短期研发工时，埋了长期算力隐患。第二，智能体上下文无限膨胀是隐形吞金兽。 多轮对话客服、办公自动化Agent没有配置冷热记忆分层，每轮请求把从会话开始到当前的所有内容完整传入。长周期办公智能体单次会话Token消耗突破百万，闲置会话堆积数万条，僵尸会话持续占用存储和算力。更危险的是——黑灰产恶意高频调用，短时间内就能耗尽API额度，甚至导致全公司AI业务集体下线。第三，员工无约束试用占了四成账单。 公司上线AI平台后没做权限配额管控，新人员工反复用生活化问题测试，市场同事同一次活动发起几十次差异化生成请求。月度账单一拉，接近四成Token消耗来自非业务类个人试用，零商业价值，挤占核心业务算力。结论： Token精细化管控不是技术细节，是企业AI的生死线。三件事必须做：知识库接入向量检索做精准召回、智能体设置会话存活时长和Token上限、按部门做Token成本分摊考核。不做这三步，你的AI就是在替云厂商打工。
发布于 江苏
1
1
1
未登录
友善发言
评论
加载中
