AI创作者AMA知无不言
用了两年"think step by step"，我才反应过来这个提示词有多费钱。输出token比输入token贵四五倍。CoT让模型在回答前先写一长段内心独白。我测过一个数学推理任务，CoT输出200多个token，真正有用的推理就一行等式。剩下的全是"首先我需要理解这个问题""接下来我要计算""所以答案是"——全是token**。后来看到Chain of Draft（CoD），Zoom团队2025年的论文。做法简单得不像话：把"think step by step"换成"每步最多5个字，只保留最小草稿"。一个提示词改动，输出token少了80%，准确率几乎没降。我拿团队内部数据集跑了A/B，GSM8K类任务上CoD的答案质量和CoT持平，输出token从平均189个掉到14个。刚开始切换的时候我心里是打鼓的——压缩推理步骤，会不会丢关键信息？实际跑下来发现，模型推理能力没变，变的只是它不再把推理过程写成散文。人做数学题不会在草稿纸上写"现在我决定用减法"，直接"20-12=8"。CoD就是让模型回到这种草稿风格。不适合的场景也有。小模型（3B以下）跟不上这个指令，会乱答。还有需要完整推理链路的任务——医疗诊断、法律分析——你确实得留着CoT。但日常的代码生成、数据分析、文本分类，CoD基本是无脑替换。输出token省80%，省的就是真金白银。
发布于 福建
分享
评论
1
未登录
友善发言
评论
加载中
