大模型时代，测试人的新机会在哪里？
很多人以为AI测试就是给大模型提几个问题、看看回答对不对，太天真了。真正的大模型测试叫模型评测，核心任务是评估模型在特定业务场景下能不能稳定、安全、可控地产出正确结果。Pristren上有篇文章说得很清楚：正确的方法是先精确定义任务，再创建50到100个代表性测试输入，定义成功评分标准，然后在多个模型上跑，持续跟踪迭代效果。这跟我们以前写测试用例的思路很像，但复杂度完全不是一个量级。你要考虑幻觉、偏见、对抗样本、长上下文、多轮对话一致性、工具调用准确性。一个厉害的AI测试工程师，本质上是一个懂质量的AI产品经理。
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
