脉脉

爱摸鱼的技术负责人

07-07 · 金账卫士

转行做大模型应用的，一被问项目怎么评估效果，就只会说“肉眼看还不错”？我是老汪，当年摸鱼摸成CTO，面过七八十个转大模型的，八九成都栽在评估这关上。我当年从后端转岗，第一次面RAG岗也踩过一模一样的坑，被面试官追着问评估指标，支支吾吾半天说不出个量化数。很多人做项目只顾着堆功能、拼框架，觉得能跑通、效果看着还行就够了。但在面试官眼里，没有完整评估体系的项目，本质就是个人练手Demo，根本没接触过真实的迭代流程。比起功能做了多少，能不能自证效果没注水，才是区分新手和做过落地的关键。别只说“效果不错”拿不出量化指标。不少人被问效果，张口就是准确率很高、用户反馈挺好，全是主观描述。这种说法在面试官听来，基本等于没正经做过评估，全靠肉眼凑数。哪怕是练习项目，也要搭一套最小量化指标，分开离线和线上两层。我当年改自己的客服RAG项目，就补了两个核心指标：离线测召回率和答案匹配率，拿200条测试集跑下来，召回从72%优化到86%；上线后跟踪用户点踩率，从18%降到了11%，再讲出来真实感完全不同。别拿“人工评估”当唯一标准。很多人一说评估，就说找了同事人工标注校验，觉得人工就是金标准。可真正做过生产迭代的都知道，纯人工评估效率低、一致性差，只能当辅助手段，全靠人工就是没体系。正确的做法是先用自动评估打底筛量，再用人工聚焦bad case。我们之前做文档问答项目，最开始全靠组里人逐条看结果，一周都测不完一轮；后来搭了自动评估prompt批量初筛，再人工分析低分案例，迭代速度直接提了三倍。别回避bad case只讲亮眼数据。有些人讲评估全挑好的指标说，一问短板和差场景就含糊其辞。但懂行的都清楚，大模型项目没有完美效果，只说好话反而像没深入分析过。主动讲典型bad case和对应的优化动作，反而更显落地经验。我当时面的时候主动提，长文档分段召回容易丢上下文是典型坏例，后来加了父子分片策略，这类问题准确率提了15%左右，虽说复杂多跳查询还有缺陷，但有明确的优化路径，反而更可信。其实转大模型开发的朋友，大多不是能力不够，是之前没接触过完整的生产流程，没意识到评估的权重这么高。不用推翻重做项目，补一套评估逻辑和数据，表达出来的质感就会差很多。我整理了大模型项目常用的评估指标清单和bad case分析模板，都是自己当年踩坑攒的干货。