周敏琦
AI创作者AMA知无不言
做普通产品的时候，用户反馈几乎是实时的。上线一个新功能，当天就能看到数据：点击率高不高、跳出率大不大、用户有没有吐槽。好就是好，不好就是不好，判断周期很短。但做AI产品之后，我发现用户需要一个很长的时间才能给出靠谱的反馈。这种"延迟反馈"让我一度非常不适应。举个真实的例子。去年我们上线了一个AI写作助手，能帮用户生成营销文案。上线第一周，收到了大量的用户反馈，说"写得不错""挺好用的"。我当时还挺高兴的。但用了两周之后，用户开始反馈"怎么有些场景写得不太好""感觉有时候灵光一现，有时候很一般"。你看，用户需要用一段时间才能发现：AI产品的效果是"不稳定"的。第一次用碰巧效果好，不代表每次都好。用户需要积累足够多的使用样本，才能对产品做出一个客观的评价。这个积累过程，可能需要一周、两周，甚至更长。这种延迟反馈给产品验证带来了巨大的挑战。普通产品上线后，你可以在三天内判断功能是否成功。但AI产品呢？可能上线一个月了，你还不敢说这个模型效果到底行不行，因为样本量还不够大，数据还不具备统计显著性。我们团队为此专门调整了评估机制。第一，不再看单次使用反馈，而是追踪用户的长期使用数据。第二，设置了更长的观察周期，一个模型上线至少观察一个月才做评估决策。第三，引入了A/B测试的长期版本，不是跑几天就出结论，而是持续跟踪几周的数据变化趋势。从那以后，我再也不敢根据短期数据对AI产品下结论了。我会告诉团队和老板："先等等，让子弹飞一会儿。"如果你刚转AI产品，记住一句话：用户的真实反馈是需要时间沉淀的。学会接受不确定性，学会用长期视角做判断，这是AI产品经理必须练就的本事。
发布于 上海
分享
评论
赞
未登录
友善发言
评论
加载中
