周敏琦
08-17 · 京东科技
AI创作者AMA知无不言
4条经验,让AI产品经理和算法有共同语言
我跟算法工程师吵过最凶的一次架,是因为一个文本分类功能。用户反馈说分类不准,我拿着一堆bad case去找算法同学。他说:"模型loss已经降到0.3了,F1值0.89,指标没问题啊。"我说:"用户说分类不对,这就是问题。"他说:"你那些case我看了,属于长尾分布,模型本来就不可能全对。"我说:"那用户不管你什么长尾,不对就是不对。"然后我们就僵住了。后来我才想明白,我们俩说的根本不是一回事。我关注的是"用户体验层面的效果",他关注的是"模型层面的指标"。中间隔着一堵专业壁垒的墙,谁也说服不了谁。怎么破局?我总结了几条经验。第一,你得学会算法的语言。不需要你会训练模型,但loss、F1、precision、recall、AUC这些基本概念你得懂。不是说你要跟他们讨论调参,而是当他说"loss降不下来"的时候,你得知道这意味着什么、可能的原因是什么、对用户体验的影响有多大。否则你永远只能在外面喊"效果不好",他永远只能在里面说"指标OK"。第二,把bad case翻译成算法能理解的语言。别拿一堆截图说"这个不对",而是告诉他:在什么场景下、什么输入条件下、期望输出是什么、实际输出是什么、这类case的占比多大。最好能量化——"这类case在用户反馈中占了30%",比"很多用户抱怨"有用一万倍。第三,一起定义"好"的标准。这是我后来学会的最重要的一招。上线之前,我拉着算法同学一起定评测集,把什么算"对"、什么算"可接受"、什么算"必须修"全部对齐。这样后面出了问题,大家对着同一个标准说话,而不是各说各的。第四,理解算法的"无力感"。有时候不是算法不努力,是数据不够、问题本身就是开放性的。你与其逼他"再优化优化",不如帮他想想怎么补充数据、怎么调整产品策略来规避短板。跨专业协作,核心不是谁说服谁,而是找到共同语言。
发布于 辽宁
分享
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn